数据仓库与商业智能概述.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,数据仓库与商业智能,-4-20,数据仓库与商业智能概述,第1页,主要内容,数据仓库起源和发展,数据仓库定义和特点,数据仓库体系结构,数据仓库建设方法,商业智能,数据仓库与商业智能概述,第2页,数据仓库起源和发展,数据仓库与商业智能概述,第3页,数据管理历史,人工管理方式,这一时期是在20世纪50年代中期以前，这一阶段计算机应用主要用于科学计算，外存只有纸带、磁带、卡片等，数据处理方式基本上是批处理。这一时期数据管理特点是：数据不保留；没有专用数据管理软件，每个应用都必须自己完成存放结构、存取方法、输入输出等数据管理功效；一组数据对应一个应用，这使得程序之间可能有重复数据。,文件系统管理,这一阶段在20世纪50年代后期至60年代中后期，计算机应用开始用于信息管理，因为数据存放、检索和维护等需求，使得对应研究开展起来了，在硬件和软件方面都得到了发展，磁盘磁鼓出现，操作系统也产生。,数据库系统（60年代末开始）,关系数据库之父E.F.Codd提出了关系模型(ER)，促进了联机事务处理(OLTP)发展，数据以表格形式而非文件方式存放。,数据仓库与商业智能概述,第4页,数据库到数据仓库,传统数据库环境中,以数据库为中心，数据资源组织方式单一；,侧重对数据管理，操作型处理（OLTP，联机事务处理），关心是响应时间，数据安全性和完整性；,问题：“,易进不易出,”,数据仓库与商业智能概述,第5页,数据库到数据仓库,数据处理不停有新需求（联机事务、批处理、决议分析）,分析型处理（OLAP，联机分析处理）,用于管理人员决议分析，经常要访问大量历史数据，而极少对数据库进行写操作，除非对数据库进行更新或装入时。人们希望从中取得跟企业经营效益紧密相关信息。,数据仓库与商业智能概述,第6页,数据仓库产生,（1）数据集成,（2）,历史数据应用需求,（3）,查询性能,数据仓库与商业智能概述,第7页,数据集成,企业全方面经营数据,OLTP分散在不一样系统中(关键、信贷、国结),外部数据(市场数据、竞争对手),集成数据,建立关联,各业务系统之间业务事件联络,统一（统一事实、维度）,历史数据,普通全国股份制商业银行一天交易流水在150W左右,通常业务系统只保留当前,历史数据查询困难,数据仓库与商业智能概述,第8页,数据集成,数据一致化,在很多情况下，大型企业会产生数据不一致情况,数据仓库数据要保持一致化和准确性,数据综合,各种不一样粒度数据集成问题,详细粒度,中等聚集,高层聚集,外部数据集成,数据仓库与商业智能概述,第9页,查询性能,提升数据查询效率,OLTP系统面向数据维护,数据仓库面向数据查询,提升查询功效为最主要目标,数据仓库与商业智能概述,第10页,发展动力,业务需求驱动,主要是详细分析,科学经营,市场活动细化和实施等,数据驱动,数据量不停扩大,需要相关技术全方面了解企业,结论：,以单一数据组织方式进行组织数据库，不能满足新型数据处理多样化要求，数据仓库技术应运而生,数据仓库与商业智能概述,第11页,数据仓库概念和特征,数据仓库与商业智能概述,第12页,数据仓库概念,数据仓库（EDW，Enterprise Data WareHouse）,数据仓库无非是全部数据集市集合,-Ralph Kimball,数据仓库无非是面向主题、集成、不一样时间、稳定数据集合方便支持管理决议,-Bill Inmon,数据仓库是一个过程不是一个项目,数据仓库与商业智能概述,第13页,数据仓库特点,面向主题,数据所代表业务内容划分，而不是以应用划分,集成,数据所代表业务内容划分，而不是以应用划分,不一样时间,数据按照时间组织，并存放在不一样时间切片,稳定,不允许对数据进行更新，只允许初始加载和查询,数据仓库与商业智能概述,第14页,数据仓库系统结构,数据仓库与商业智能概述,第15页,数据仓库结构,Operational,Data Store,ETL,数据源,Data,Warehouse,数据源,数据源,Data,Mart,Data,Mart,Data,Mart,分析,报表,可视化,数据挖掘,ODS(,Operational Data Store,):操作型数据存放区域,ETL(Extract Transfer Load):数据抽取转换加载,DW(Data WareHouse):数据仓库,DM(Data Mart):数据集市,元数据（Meta Data）,数据仓库与商业智能概述,第16页,数据源,各种业务系统,RDBMS,文件系统,如，银行业中，关键系统、信贷系统、国结系统,ERP系统,数据仓库与商业智能概述,第17页,ODS（操作型数据存放区域）,是一个数据仓库混合形式，它包含及时、最近、面向主题和集成信息。,是数据仓库环境一个组成部分,是操作型系统一个集成环境,为决议支持系统提供当前详细数据查询功效,是面向主题、集成、经常更新详细数据,数据仓库与商业智能概述,第18页,ETL（抽取 转换 加载）,数据仓库数据是面向主题，而业务数据库总是围绕一个或几个业务处理流程，所以到数据仓库过程需要十分复杂数据整合过程。,数据抽取,数据转换（一致化）,数据加载,作业控制,数据仓库与商业智能概述,第19页,数据仓库,数据模型多维数据模型,粒度划分（分割、汇总）,Fact Table,fact1,fact2,fact3,机构,粒度,key,机构代码,地址,联络人,attribute,Dimension,Dimension,Dimension,粒度代码,attribute,attribute,attribute,粒度：1日 2月 3年,日期-12-31,数据仓库与商业智能概述,第20页,数据集市,数据集市是数据仓库子集。假如数据仓库是整个企业组织全部主题数据存放区，那么数据集市就是某一个主题数据存放领域。,数据集市即是数据仓库一个实现，也是实现数据仓库主要过程，同时提供了分布式数据仓库思想。,数据仓库与商业智能概述,第21页,数据展现,查询,报表,多维分析（钻取、切换）,图形,数据仓库与商业智能概述,第22页,元数据,元数据是关于数据数据，它描述了数据结构、内容、码、索引等项内容。,元数据分类,技术元数据,业务元数据,数据仓库与商业智能概述,第23页,三个关键部分,数据仓库与商业智能概述,第24页,数据仓库建设方法,数据仓库与商业智能概述,第25页,数据仓库建设,频繁改变,面向企业中不一样业务和用户,数据仓库与商业智能概述,第26页,数据仓库建设策略,自底向上策略,：即数据集市方法，提供了灵活性，低花费，并能快速回报投资。此方法关键是：从最关心部分开始，先以最少投资，完成企业当前需求，取得最快回报，然后再不停扩充，完善。,数据仓库与商业智能概述,第27页,数据仓库建设策略,自顶向下策略：先建立一个全局数据仓库结构，然后在此基础上建立部门数据集市和个人数据仓库。这是一个系统处理方案，能最大程度地降低集成问题，但开发周期长，费用高，而且缺乏灵活性。,数据仓库与商业智能概述,第28页,数据仓库建设层次,分析型应用要求千差万别，一个单一层次数据仓库不能满足全部分析需求。一个好处理方案：建立分层数据仓库。,操作型环境,数据仓库,数据集市,个人仓库,全局级,部门级,个人级,数据仓库与商业智能概述,第29页,多层数据仓库,企业数据仓库,数据集市,数据集市,分布式数据集市,定 义 高 层 数 据 模 型,模型提炼,模型提炼,递增、进化地开发数据仓库,数据仓库与商业智能概述,第30页,商业智能,数据仓库与商业智能概述,第31页,商业智能,商业智能,，又称,商务智能,，英文为,Business Intelligence,，简写为,BI,。起源于上世纪90年代。,商业智能描述了一系列,概念,和,方法,，经过应用基于事实支持系统来辅助商业决议制订。商业智能技术提供使企业快速分析数据技术和方法，包含搜集、管理和分析数据，将这些数据转化为有用信息，然后分发到企业各处。,能够说商务智能是一个可包含企业全部知识系统，服务于管理决议层或部门执行经理，帮助其进行决议和分析。,数据仓库与商业智能概述,第32页,商业智能结构,OLAP,数据挖掘（Data Mining）,数据仓库,其它查询和展现,数据仓库与商业智能概述,第33页,商业智能功效,统计选择,查询展现,关联分析,买债券，保本型理财,监视功效,月营业额小于10万元分店,展示功效,查找、排序、统计,数据输出,打印/导出，图形、Excel,数据仓库与商业智能概述,第34页,商业智能实施步骤,需求分析,数据分析,数据仓库建模,数据处理（ETL）,BI展现(报表、图形、OLAP),数据模拟测试,系统完善改进（迭代）,数据仓库与商业智能概述,第35页,相关产品,数据仓库处理方案,Teradata，IBM，Oracle.,建模软件,ERwin，Power Designer,ETL软件,Data Stage，Informatic,数据仓库,Teradata，Oracle，IBM DB2,BI软件,COGNOS，BO，Brio,数据仓库与商业智能概述,第36页,商业智能发展趋势,功效上含有可配置性、灵活性、可改变性,处理方案更开放、可扩展、可按用户定制，在确保关键技术同时，提供客户化界面,从单独商业智能向嵌入式商业智能发展,从传统功效向增强型功效转变,数据仓库与商业智能概述,第37页,商业智能前景,产品为中心客户为中心,客户需求增加,竞争加剧,技术进步,商业智能作用,决议支持（KPI，关键性能指标）,客户评价,市场自动化（促销管理）,数据仓库与商业智能概述,第38页,谢 谢！,数据仓库与商业智能概述,第39页,