数据仓库架构培训PPT.ppt

*,目 录,公司的数据仓库架构,2,数据存储与,ETL,3,厂商的数据仓库架构,1,前端业务应用与管理系统,4,实施过程,5,案例,6,1,厂商的数据仓库架构,2,IBM,数据仓库架构,3,NCR,数据仓库架构,4,SAP,的数据仓库,5,两级数据仓库架构,6,公司的数据仓库架构,7,业务系统,数据存储平台,数据仓库应用平台,应用服务层,元数据访问服务,BI,工具引擎,报表,查询,决策支持,应用层,（,Portal,）,EDW,DDS,对外接口,数据交换平台,数据挖掘,与分析系统,其它应用,元,数,据,管,理,OLAP,ADS,DM,系统总体架构图,历史数据存储（,HDS,）,操作数据存储（,ODS,）,主数据,ETL,数据,质量,管理,8,业务系统,数据存储平台,数据仓库应用平台,应用服务层,元数据访问服务,BI,工具引擎,报表,查询,决策支持,应用层,（,Portal,）,EDW,DDS,对外接口,数据交换平台,数据挖掘,与分析系统,其它应用,元,数,据,管,理,OLAP,ADS,公司实施常用架构,历史数据存储（,HDS,）,DM,ETL,数据,质量,管理,9,数据存储与,ETL,10,11,数据存储,主数据存储,模型特点,ER,模型：与业务系统中代码信息存放方式类似,数据标准：在企业中采用统一的编码规则和标准,保留历史：保留主数据变化的版本,12,ODS,数据存储,模型特点,ER,模型：与业务系统中模型基本一致，尽量减少由于数据处理带来的时间消耗,实时性：保存实时变化的数据,13,EDW,数据存储,模型特点,采用,3NF,方式建模，采用面向对象的建模方式,从业务模型入手，结合实际的业务系统的数据，使用主题域对数据进行抽象,建模原则,全面性：最终应该能够覆盖到客户经营活动中所有的业务数据,抽象性：从业务的角度把客户的所有业务要素抽象成若干对象，采用面向对象的设计方法,扩展性：其体系结构应该能够适应客户今后业务的发展,高效性：应该注意不要使对象之间的关系过于复杂，导致在实际查询时的速度过慢,14,DDS,数据存储,模型特点,星型模型：以维度表和事实表的方式对数据进行组织和存放,面向需求：从满足应用需求的角度进行设计，从中找出维度，维和分析变量,粒度较粗：从明细数据汇总得到,15,数据抽取,数据加载,数据映射,数据转换,数据清洗,从,HDS,或,ODS,中获取所需数据,清除错误的、不符合业务逻辑的数据,将业务系统的数据字段对应到主数据的数据字段,将数据转换成主数据的模型,将转换完毕的数据写入物理数据库,数据标准化,按照数据的标准，对数据进行统一,主数据加载,16,数据抽取,数据加载,数据映射,数据转换,数据清洗,从,HDS,或,ODS,中获取所需数据,清除错误的、不符合业务逻辑的数据,将业务系统的数据字段对应到,EDW,的数据字段,将数据转换成,EDW,的模型,将转换完毕的数据写入物理数据库,数据标准化,按照数据的标准，对数据进行统一,EDW,数据加载,17,数据抽取,数据加载,数据转换,数据汇总,数据映射,从,EDW,数据存储中获取所需数据,将,EDW,存储模型的字段，对应到,DDS,存储模型的字段,把数据从,EDW,的,ER,模型转换为,DDS,的多维存储模型,把,EDW,中的数据进行一定程度的汇总,将转换完毕的数据写入物理数据库,DDS,数据加载,18,前端业务应用与管理系统,19,应用服务层,数据中心存储平台,DDS,OLAP,DM,Meta Data,数据服务层,OLAP,引擎,元数据管理服务,管理和审计服务,BI,引擎,统,一,的,安,全,管,理,EDS,数,据,访,问,层,代,理,Web Server,浏览器,GUI,应用程序,ODS,数据交换服务,主数据管理服务,20,分析人员使用,决策层使用,管理人员使用,业务人员使用,分析型应用,企业绩效,KPI,业务报务、业务应用,跨部门、跨业务应用,应用层次规划,21,资产分析,成本分析,业务分类,财务,生产,销售,KPI,库存,物流,盈利,产量,原料,质检,销量,市场,竞争对手,市场,生产指标,财务指标,销售指标,库存分析,应用分类,22,管理系统：元数据管理,主数据,数据中心,ODS,EDS,DDS,DM,应用系统,ETL,元数据数据源,元数据存储平台,业务元数据,业务指标,维度,技术元数据,维度,ADS,ETL,信息,应用系统信息,管理元数据,ETL,日志,应用系统日志,权限,元数据应用平台,维护功能,业务元数据维护,技术元数据维护,查询功能,分类导航,全文检索,日志查询,权限查询,展现功能,动态指标解释,信息展示,血缘关系,OLAP,业务指标,/,需求,23,主数据管理,24,商务智能工具,SOA,技术,WEB,技术,实施技术,25,实施过程,26,数据仓库实施方法,自下而上,从业务数据入手，建立数据模型,建立完整的后台数据,自上而下,完全基于业务需求分析的结果,以需求确定后台的数据范围,迭代开发,整个建设过程分为多个迭代过程,从关键的业务入手，即考虑后台数据，又提供前端展现,27,28,项目组架构,项目管理组,客户方项目组,系统架构组,ETL,组,数据建模组,应用开发组,质量管理组,项目管理委员会,需求分析组,售后与服务组,系统测试组,实施流程,项目准备,项目规划,需求定义,技术,需求,业务,需求,技术架构,源数据分析,数据建模,应用设计开发,ETL,设计,开发,集成测试,系统上线,运行维护,系统演进,项 目 管 理,29,实施案例,30,业务系统,数据存储平台,数据仓库应用平台,应用服务层,元数据访问服务,BI,工具引擎,报表,查询,决策支持,应用层,（,Portal,）,EDW,DDS,对外接口,数据交换平台,数据挖掘,与分析系统,其它应用,元,数,据,管,理,OLAP,ADS,DM,数据中心,-,案例,1,历史数据存储（,HDS,）,操作数据存储（,ODS,）,主数据,ETL,数据,质量,管理,31,业务系统,数据存储平台,数据仓库应用平台,应用服务层,元数据访问服务,BI,工具引擎,报表,查询,决策支持,应用层,（,Portal,）,EDW,DDS,对外接口,数据交换平台,数据挖掘,与分析系统,其它应用,元,数,据,管,理,OLAP,ADS,DM,数据仓库,-,案例,2,历史数据存储（,HDS,）,操作数据存储（,ODS,）,主数据,ETL,数据,质量,管理,32,业务系统,数据存储平台,数据仓库应用平台,应用服务层,元数据访问服务,BI,工具引擎,报表,查询,决策支持,应用层,（,Portal,）,EDW,DDS,对外接口,数据交换平台,数据挖掘,与分析系统,其它应用,元,数,据,管,理,OLAP,ADS,DM,数据仓库,-,案例,3,历史数据存储（,HDS,）,操作数据存储（,ODS,）,主数据,ETL,数据,质量,管理,33,业务系统,数据存储平台,数据仓库应用平台,应用服务层,元数据访问服务,BI,工具引擎,报表,查询,决策支持,应用层,（,Portal,）,EDW,DDS,对外接口,数据交换平台,数据挖掘,与分析系统,其它应用,元,数,据,管,理,OLAP,ADS,DM,数据仓库,-,案例,4,历史数据存储（,HDS,）,操作数据存储（,ODS,）,主数据,ETL,数据,质量,管理,34,业务系统,数据存储平台,数据仓库应用平台,应用服务层,元数据访问服务,BI,工具引擎,报表,查询,决策支持,应用层,（,Portal,）,EDW,DDS,对外接口,数据交换平台,数据挖掘,与分析系统,其它应用,元,数,据,管,理,OLAP,ADS,DM,数据仓库,-,案例,5,历史数据存储（,HDS,）,操作数据存储（,ODS,）,主数据,ETL,数据,质量,管理,35,业务系统,数据存储平台,数据仓库应用平台,应用服务层,元数据访问服务,BI,工具引擎,报表,查询,决策支持,应用层,（,Portal,）,EDW,DDS,对外接口,数据交换平台,数据挖掘,与分析系统,其它应用,元,数,据,管,理,OLAP,ADS,DM,BI,系统,-,案例,6,历史数据存储（,HDS,）,操作数据存储（,ODS,）,主数据,ETL,数据,质量,管理,36,追求卓越 不断创新 客户至上,37,