数据架构优化建设项目总体技术方案.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,又好又快地建设,SG186,工程！打造国家电网公司坚强的资金管理平台！,“,SG186,工程,”,建设示范单位评估文件之一,报告,中国电财数据架构优化项目,总体技术方案,2010,年,4,月,中电财数据架构优化项目的应用框架对,IT,技术基础设施的关键需求,中电财数据架构优化的总体设计框架介绍,数据架构优化的设计概述,数据架构优化的总体方案设计,数据架构优化的系统设计,数据架构优化的门户集成设计,数据架构优化的运营维护设计,主要内容,未来应用系统的框架设计对支撑其运行的IT技术基础设施的设计提出了关键需求，提出以建设以数据中心为IT技术基础设施核心的设计思想,加强数据标准建设是落实集约化的必要基础,建立数据交换平台是实现信息共享的坚强保障,建立数据仓库是提升管理分析能力的有效手段,建立数据仓库系统，提供企业级统一数据视图，在数据仓库的基础上尽量实现对外报送报表和内部固定报表的自动生成；实现自定义报表功能，满足业务部门灵活查询的需求；实现多维分析功能，满足预算集约调控和风险在线监测的要求。,通过数据标准的制定和管理，对统一公司范围内所涉及的各项数据的定义与业务含义的解释，达到业务数据定义和使用的一致性，促进信息集成具有重要意义。数据标准的制定和执行可以实现全公司范围内数据的一致性和正确性，满足财务集约化的“制定和执行统一的信息标准，促进公司各类信息的互相融合“的要求。,通过数据交换平台，对不同业务系统的数据进行整合和集成；数据交换平台实现总部各业务部门之间的横向共享以及公司总部与地方分公司和国网公司之间的信息共享，满足财务集约化的”建立可靠、灵活、安全、稳定的数据交换平台“的要求。,中电财数据架构优化项目的应用框架对,IT,技术基础设施的关键需求,中电财数据架构优化的总体设计框架介绍,数据架构优化的设计概述,数据架构优化的总体方案设计,数据架构优化的系统设计,数据架构优化的门户集成设计,数据架构优化的运营维护设计,主要内容,中电财数据架构优化项目的应用框架对,IT,技术基础设施的关键需求,中电财数据架构优化的总体设计框架介绍,数据架构优化的设计概述,数据架构优化的总体方案设计,数据架构优化的系统设计,数据架构优化的门户集成设计,数据架构优化的运营维护设计,主要内容,在进行硬件估算时，充分考虑了未来数据容量和用户数。,中电财数据架构优化所需硬件和软件的清单列表,数据库服务器（主机,4,CPU,1,6,G,Ram,）,应用服务器（主机,4,CPU,1,6,G,Ram,）,ETL,服务器（,PC Server,2,CPU,8,G,Ram,）,OLAP,服务器（,PC Server,2,CPU,8,G,Ram,）,Web,服务器（,PC Server,2,CPU,8,G,Ram,）,磁盘阵列（,600GB,）,开发测试服务器（主机,4,CPU,1,6,G,Ram,）,注：以上服务器仅是数据仓库应用系统理想情况下的配置，实际配置时可以根据系统性能要求，把若干项功能,组合起来，由一台服务器承担。,数据库软件（,Oracle 10G RAC,）,ETL,产品（,Informatica-PowerCenter,）,OLAP,产品（,Cognos,-Analysis Studio,）,报表产品（,Cognos,-Report Studio,）,中间件产品（,Weblogic-Potal,）,硬件清单,软件清单,中电财数据架构优化所需硬件清单列表,应用系统,硬件,配置,操作系统,用途,数据仓库生产环境,数据库服务器,主机,4CPU,16G Ram,IBM-AIX5.3/Linux,正式环境，安装,Oracle,应用服务器,主机,4CPU,16G Ram,IBM-AIX5.3/Linux,正式环境，安装,Weblogic,ETL,服务器,PC Server,2CPU,8G Ram,NT(Windows2003),正式环境,安装,Informatica,OLAP,服务器,PC Server,2CPU,8G Ram,NT(Windows2003),正式环境,安装,Cognos,Web,服务器,PC Server,2CPU,8G Ram,NT(Windows2003),正式环境，安装,Apache,磁盘阵列,600GB,正式环境,数据备份、归档,数据仓库开发测试环境,服务器,主机,4CPU,16G Ram,NT(Windows2003),开发测试环境，安装开发阶段使用的,Oracle,数据库,小计,公共数据管理平台,应用服务器,PC Server,2CPU,8G Ram,NT(Windows2003),开发阶段借用，系统上线以后作为数据交换平台使用。,Web,服务器,PC Server,2CPU,8G Ram,NT(Windows2003),合计,中电财数据架构优化所需硬件清单列表,应用系统,产品种类,产品名称,数据仓库,数据库软件,Oracle10G(version:10.2.0.1)1CPU,50 users,ETL,产品,PowerCenter(Informatica8.1.1)1CPU,50 users,报表产品,Report/Query Studio,Cognos8.3BI Server,OLAP,产品,Analysis Studio,Web,服务器产品,Weblogic10.1.6 1CPU,50 users,小计,公共数据管理平台,Web,服务器产品,Weblogic10.1.6 1CPU,50 users,数据库软件,Oracle10G(version:10.2.0.1)1CPU,50 users,小计,合计,中电财数据架构优化基础软件清单及其用途,软件类别,软件名称,说明,ETL,工具,Informatica,数据抽取转换和加载工具,报表工具,Cognos,Report Studio,前端展示工具,OLAP,工具,Cognos,Analysis Studio,多维展示工具,建模工具,Power Designer or Erwin,数据模型建模工具,数据库,Oracle,数据库产品,中间件,Weblogic,中间件产品,中电财数据架构优化项目的应用框架对,IT,技术基础设施的关键需求,中电财数据架构优化的总体设计框架介绍,数据架构优化的设计概述,数据架构优化的总体方案设计,数据架构优化的系统设计,数据架构优化的门户集成设计,数据架构优化的运营维护设计,主要内容,一、数据架构优化的总体逻辑架构,二、数据架构优化的总体物理架构,三、数据架构优化的网络拓扑架构,IBM,通过主导数据架构优化建设的总体设计，提供业务需求的总体分析和技术上的总体架构，为中国电财未来持续实现数据架构的应用奠定基础，为未来持续发展提供战略层面的意见和建议。,四、数据架构优化的数据交换平台,基于中电财的现状设计出的数据架构优化的总体逻辑架构。,业务元数据,（账户,/,客户,/,交易数据）,应用层,信息展现层,数据源层,企业接口层,数据存储层,。,营业历史数据,资金历史数据,（与,BOS,的结构相同）,临,时,数,据,区,业务基础数据,（账户,/,客户,/,交易层事实表）,处理数据,（业务规则,/,配置参数,/,中间结果）,汇总数据,（维表,/,汇总,/,账户,/,客户事实表）,基,础,及,汇,总,数,据,区,各类中电财业务的应用数据,资金数据集市,其他,数据集市,BOS-,资金,BOS-,营业,资金结算系统,财务系统,信贷系统,操作型数据存储,(ODS,是,面向主题的、集成的、当前或接近的、不断变化的,数据。,),各个业务主题数据集市,（应用数据区）,资金其,他分析,。,风险,分析,营业其他分析。,财务,优化,营业账薄查询优化,资金调度展示室,报表,资金存款类,报表,多维分析,灵活查询,资金账户查询,其他灵活查询,营业账,薄查询,统计,分析,分析预测,现金流量预,测,其他分析预测,融资计划预测,信贷,分析,资金准确性分析,其他多维分析,营业结算量分析,管理提升,其他,应用,银监会,1104,类,报表,其他业务报表,。,客户,业务人员,决策人员,分析人员,管理人员,用户访问层,中电财企业信息门户,(EIP),固定报表,多维分析,商业智能平台,财务系统,资金结算,CPFBOS,临时数据区,基础数据区,汇总数据区,应用数据区,数据仓库,Oracle 10gR2 RAC,灵活查询,数据抽取、转换、加载（,ETL,）,ODS,其,他,部,门,应,用,分,析,数据交换平台,业务主题,客户管理,财务管理,信贷管理,风险管理,资金管理,分析预测,数据导出,P,D,F,X,L,S,数据管理人员,营业结算,.,手工数据,依据中电财总体逻辑架构，我们整理出分层次、可扩展的总体物理架构图。,IP,千兆网,应,用,层,SAN,存储网,Web,负载均衡,Firewall,总公司,B/S,用户,总公司,B/S,用户,分公司,B/S,用户,IP,千兆网,IP,千兆网,总公司,DW,数据库服务器集群,总公司报表数据库,+,分公司报表数据,HA,历史数据管,理平台,HDS,(,历史数据备份,),存储阵列,总公司,分公司,总公司规则设置工作站,调度管理工作站,Web,服务器,应用服务器,总公司报表集中,部署平台,总公司报表,展现功能,分公司报表,展现功能,ETL,Informatica8.3,远程维护工作站,调度服务器,UAAP,统一认证,Web,层,用,户,层,数,据,库,层,存,储,层,基础设施架构,基于中电财的技术架构规划的网络拓扑与硬件部署,数据交换平台的现阶段与未来实现,Fact Table,Fact Table,Product,Product,Dimension,Dimension,Time,Time,Dimension,Dimension,Account,Account,Dimension,Dimension,Geography,Geography,Dimension,Dimension,Industry,Industry,Dimension,Dimension,Account Type,Account Type,Dimension,Dimension,Fact Table,Product,Dimension,Time,Dimension,Account,Dimension,Geography,Dimension,Account Type,Dimension,Industry,Dimension,数据交换平台,数据源,现阶段,现阶段，基于,CPFBOS,的各业务主体,资金相关业务主题,营业相关业务主题,信贷相关业务主题,预构建的基于角色的报表,&,仪表盘,2000+报表，组织在,200+,页面中，涉及,50,个流程,交互式用户存取界面,针对所有用户的门户,即席查询,/,编制工具,即席查询,+,各个部门应用,构建标准化的基础数据区,数据层次,&,数据关系,口径统一的公共数据,账户管理信息、账户活动信息。,7000+预构建的对象，2300+度量,5000 个维,基础数据,下一阶段,中电财数据架构优化项目的应用框架对,IT,技术基础设施的关键需求,中电财数据架构优化的总体设计框架介绍,数据架构优化的设计概述,数据架构优化的总体方案设计,数据架构优化的系统设计,数据架构优化的门户集成设计,数据架构优化的运营维护设计,主要内容,一、数据架构优化的系统接口设计,二、数据架构优化的系统应用设计,三、数据架构优化的数据层次设计,IBM,通过主导数据架构优化建设的总体设计，提供业务需求的总体分析和技术上的总体架构，为中国电财未来持续实现数据架构的应用奠定基础，为未来持续发展提供战略层面的意见和建议。,四、数据架构优化的,ETL,架构设计,接口灵活度解决方案,综合考虑中电财未来的业务发展以及,IT,系统新老系统的演进，我们从系统设计层级充分考虑,接口的灵活度，确保在外围系统变化更替过程中，对于本系统的影响程度最小，并能做到,快速应对外围源系统变化。,外围源系统通常的变化类型,接口灵活度应对措施,一、新增数据源系统,由于业务发展需要,新建的业务系统,而且,也需要作为信息披露或财务分析与预测的,数据源,二、新老系统的逐步割接,最复杂的情况是按照分行逐步割接,在并行,期会出现部分分行的业务在新系统,部分,在老系统,三、,源系统自身的升级改造,源系统的升级改制,也有可能造成对,提供的数据接口有影响,措施一,:,架构设计层级,采用中间层,标准数据模型,隔离数据源发生变化,对于整个系统的影响,措施二,:,采用新旧线数据来源配置表,通过参数化配置来应对新老系统逐步,隔接问题,措施三,:,采用专业,ETL,工具,(,Informatica,),通过参数配置调整快速,应对接口变化,接口灵活度解决方案,-,措施一,:,架构设计层级,采用中间层标准数据模型,隔离数据源发生变化对于整个系统的影响,基础数据区为标准数据模型，是综合金融行业主流的数据建模方法,并结合,IBM,项目经验,确保标准数据模型能够应对未来中国电财业务发展,并在标准模型中预留足够的扩展字段来应对未来的需求,.,架构设计中采用标准数据层模式,将数据源变动限定在数据预处理模块内部,通过与,ODS,的接口格式定义,预先考虑接口变化需求,预留一些将来可用的扩展字段,接口灵活度解决方案措施三:采用专业ETL工具(Informatica),通过参数配置调整快速应对接口变化,以图形化、参数化等直观方式，实现快速优化调整，应对数据源结构发生变化。,管理应用层,报表分析预测,信息展现,层和信息发布门户,其他应用加工,各个业务部门,资金业务数据集市,数据集市,营业业务数据集市,WebLogic,Potal,客户,贡献度,机构,/,渠道,贡献度,产品,贡献度,CPFBOS,资金模块,其它,系统,数据源层,核心类系统,数据接口层,EAI/ETL,即时,/,批量（日终处理,/,每周处理,/,月度处理）,ETL：Oracle Warehouse Builder,共享维度,临时存储区,PA,数据,库,（业务数据，计算数据、结果数据）,客户,单一视图,客户主数据,公共数据开放平台,数据仓库,数据库,层,数据加工预处理,Oracle10G,Informatica,PowerCenter,Cognos,Business Intelligence Productions,中电财数据架构优化的总体系统应用设计架构,CPFBOS,营业模块,资金结算系统,财务系统,NC,基础数据区,数据汇总区,中电财数据架构优化的总体系统应用中,Cognos,应用：如：固定报表、多维分析、灵活查询、分析预测等,中电财数据架构优化的总体系统应用中,Cognos,应用：固定报表,中电财数据架构优化的总体系统应用中,Cognos,应用：多维分析,中电财数据架构优化的总体系统应用中,Cognos,应用：灵活查询,中电财数据架构优化的总体系统应用中,Cognos,应用：分析预测,中电财数据架构优化的总体系统应用中的,J2EE,应用：如：数据补录、人工干预等模块,基于中电财数据架构优化的总体逻辑架构设计的整体数据层次设计以及指标库划分。,各个数据区的用途,编号,名称,用途说明,1,操作型数据存储,(ODS),ODS,是,面向主题的、集成的、当前或接近的、不断变化的,数据。,2,临时数据区,临时数据区用于存储各个业务系统的原有机构的历史数据，包括：资金历史数据、营业历史数据等等，以保留将来在数据层面与原有业务数据进行核对时的原始痕迹。,3,基础数据区,基础数据区用于存储中电财各个业务系统的最基础的数据单元，按照客户、账户、交易、机构、科目、凭证等最基础单元存储，与原有系统的机构不同，为了下一步按照各个维度汇总相关指标作数据准备。,4,汇总数据区,汇总数据区用于存储中电财按照各个不同维度汇总的各种相关基础指标的汇总加工后的数据，对指标计算引擎计算出来的结果进行存储。,5,应用数据区,应用数据区直接面对的是,Cognos,固定报表、多维分析、灵活查询、分析预测等展现，需要针对不同类型的应用对汇总数据区做出一些合理化的转换存储。,6,7,8,9,元数据管理平台功能,元数据导入,从各种元数据导入元数据管理平台，供后续过程使用,元数据分析,依赖分析,通过元数据工具进行数据项之间自动关系分析或手工关系分析。同时，对指标的业务逻辑加工进行回溯分析，用图形化展现指标之间的关系及数据口径说明；,影响分析,对某一数据项的更改，可以分析到对全局的影响，能使业务或开发人员通过系统和应用的单一全局视图，积极地评估更改的影响。可以确定实施更改所需的工作量。,元数据发布,应用元数据管理客户端，并通过客户化的定制，可以对需要展现的元数据分类显示,修改元数据,对需要展现的元数据进行相应的修改,浏览查询,使用标准,Internet,浏览器完成对元数据的浏览、查询、打印、下载等操作。,中电财数据架构优化项目的,ETL,架构设计,:,采用专业ETL工具(Informatica,PowerCenter8,),Informatica,PowerCenter,8 Platform,Informatica PowerCenter 8,Data Integration Hub,Finance,Data Mart,CRM,Data Mart,MFG.,Data Mart,SAP,RDBMS,PeopleSoft,eBusiness,Sources/XML,Mainframe,DataWarehouse,OperationalData Store,PowerConnect,Additional,Server Engines,Siebel,MQSeries,Mainframe,Informatica,PowerCenter,8 Architecture,Designer,Server Manager,Repository Manager,Server,Repository,Targets 1-n,Sources 1-n,PowerPlugs,Data Models,中电财数据架构优化项目的,ETL,架构设计,:,ETL工具(Informatica,PowerCenter8,)的逻辑架构,34,数据标准,流程管理,元数据,量化指标,数据管理制度化,代码标准,数据分类标准,数据组织标准,随机状态,发现状态,管理控制,优化阶段,自动阶段,数据创建,数据处理,数据存储,数据应用,数据安全,归档与备份,数据所有权,数据标准分,元数据得分,流程化得分,在中电财数据架构优化的实施过程中各个环节的数据质量控制设计。,35,中电财数据架构优化的元数据管理：,采用专业ETL工具(Informatica),通过参数配置调整快速应对元数据的变化,Informatica,的知识库管理以图形化、参数化等直观方式，实现快速优化调整，应对元数据结构发生变化。,中电财数据架构优化项目的应用框架对,IT,技术基础设施的关键需求,中电财数据架构优化的总体设计框架介绍,数据架构优化的设计概述,数据架构优化的总体方案设计,数据架构优化的系统设计,数据架构优化的门户集成设计,数据架构优化的运营维护设计,主要内容,中电财数据架构优化采用的,CognosBI,平台与中电财现有的企业级门户的无缝集成。,中电财数据架构优化采用的,CognosBI,平台与目前主流轻型目录服务器,(LDAP),的无缝集成。,中电财数据架构优化采用的,CognosBI,平台对报表和分析的强大的数据权限控制。,中电财数据架构优化项目的应用框架对,IT,技术基础设施的关键需求,中电财数据架构优化的总体设计框架介绍,数据架构优化的设计概述,数据架构优化的总体方案设计,数据架构优化的系统设计,数据架构优化的门户集成设计,数据架构优化的运营维护设计,主要内容,中电财数据架构优化采用的角色以及用户的分类,数据架构的各个应用的权限分类,系统管理员拥有数据维护权限、参数设置权限、报表设置权限、角色定义权限、用户管理权限、系统数据验证报表查阅权限等；,管理人员拥有客户信息和报表分析的查询浏览导出权限；,各级业务部门拥有相应的资金业务信息、营业业务信息、资金监控分析信息、信贷信息以及风险分析信息的查询浏览权限；,各级统计分析人员具有相应的报表分析的查询浏览导出权限。,数据架构的系统维护的分类,系统管理员拥有数据维护权限、参数设置权限、报表设置权限、角色定义权限、用户管理权限、系统数据验证报表查阅权限等；,分析人员具有相应的报表分析的查询浏览导出权限。,谢谢！,