数据仓库技术[1].ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,数据仓库技术1,*,PPT,文档演模板,Office,PPT,数据仓库技术,2026/11/4,数据仓库技术1,提纲,数据仓库技术的产生,数据仓库的定义和特征,数据仓库中的数据组织,数据的粒度,数据仓库的数据组织结构,数据的分割,数据仓库的数据组织模式,ETL,数据集市,OLAP,定义和实例,OLAP的多维数据分析,OLTP与OLAP,数据仓库系统（DWS),数据仓库技术1,1 数据仓库技术的产生,数据仓库,(Data Warehouse)技术完全是在决策需求的驱动下产生与发展起来的。,“数据太多，信息不足”的现状,异构环境的数据的转换和共享,利用数据进行数据处理转换为利用数据支持决策,操作型数据库无法满足,决策支持系统对数据库系统的要求,专为决策服务的数据库系统称为,数据仓库,(Data Warehouse，简称DW)。,数据仓库技术1,2.1 数据仓库的定义,以1992年W.H.Inmon出版Building the Data Warehouse为标志，数据仓库速度发展起来，Inmon也被誉为“数据仓库之父”。,W.H.Inmon对,数据仓库,的定义是：“数据仓库是支持决策过程的、面向主题的、集成的、随时间变化的、持久的数据集合。,数据仓库技术1,2.2 数据仓库的特征,是,面向主题,(Subject-Orientation)的;,数据仓库是,集成,(Integration)的;,数据仓库是,稳定/非易失性,(Nonvolatile)的;,是,随时间变化,(Time Vagrancy)的;,是信息的概括和聚集。,数据仓库技术1,3 数据仓库中的数据组织,3.1 数据的粒度,3.2 数据仓库的数据组织结构,3.3 数据的分割,3.4 数据仓库的数据组织模式,3.5 数据的追加,数据仓库技术1,3.1 粒度,粒度是指数据仓库的数据单位中保存数据的细化或总合程度的级别。,细化程度越高，粒度级就越小；细化程度越低，粒度级就越大。,粒度细节的级别,粒度的划分决定了数据仓库中数据量的大小和查询的详细程度。,多重粒度,数据仓库技术1,粒度的一个例子,高细化,低细化,每月200个记录,每月40,000个字节,每月一个记录,每月200个字节,通过检索,可以回答,无细节,无法回答,询问某一电话的细节,数据仓库技术1,3.2 数据仓库的数据组织结构,元数据,高度综合级,轻度综合级,(数据集市),销售细节级,2000-2001,操作型转换,早期细节级,每月销售,1994-2001,每周销售,1994-2001,当前细节级,销售细节级,1994-1999,数据仓库技术1,3.3 分割,分割将当前细节数据分散到各自的物理单元中去以便能分别独立处理，以提高数据处理效率。,分片数据分割后的独立单元。,数据的分割,提高了数据管理的灵活性,重构、索引、重组、恢复、监控,分割的标准：日期、地域、业务领域。,数据仓库技术1,分割的一个例子,分片9,分片8,分片7,2001,分片6,分片5,分片4,2000,分片3,分片2,分片1,1999,事故保险,生命保险,健康保险,数据仓库技术1,3.4 数据仓库的数据组织模式,星型模式,(star schema),雪花模式,(snowflake schema),混合模式,事实表,维,量,维表,中间有一个单一表，沿半径向外连接到多个表,是星型模式的扩展，每一个点都沿半径向外连,接到多个点,数据仓库技术1,3.5 ETL,数据抽取、转换、装载（ETL）是建立数据仓库的重要步骤，需要花费开发数据仓库70%的工作量。,数据仓库技术1,数据抽取、转换和装载(ETL),数据仓库的数据来源于多个数据源，主要是企业内部数据；存档的历史数据；企业的外部数据。这些数据源可能是在不同的硬件平台上，使用不同的操作系统。源数据是以不同的格式存放在不同的数据库中。,数据仓库需要将这些源数据经过抽取、转换和装载的过程，存储到数据仓库的数据模型中。可以说，数据仓库的数据获取需要经过抽取（Extraction）、转换（Transform）、装载（Load）三个过程即ETL过程。,数据仓库技术1,3.5.1 数据抽取,确认数据源,数据抽取技术,数据仓库技术1,1.确认数据源,列出对事实表的每一个数据项和事实,列出每一个维度属性,对于每个目标数据项，找出源数据项,一个数据元素有多个来源，选择最好的来源,确认一个目标字段的多个源字段，建立合并规则,确认一个目标字段的多个源字段，建立分离规则,确定默认值,检查缺失值的源数据,数据仓库技术1,2.数据抽取技术,当前值。,源系统中存储的数据都代表了当前时刻的值。当商业交易时，这些数据是会发生变化的。,周期性的状态。,这类数据存储的是每次发生变化时的状态。例如，对于每一保险索赔，都经过索赔开始、确认、评估和解决等步骤，都要考虑有时间说明。,数据仓库技术1,3.5.2 数据转换,数据转换的基本功能,数据转换类型,数据整合和合并,如何实施转换,数据仓库技术1,1.数据转换的基本功能,选择：,从源系统中选择整个记录或者部分记录。,分离/合并：,对源系统中的数据进行分离操作或者合并操作。,转化：,对源系统进行标准化和可理解化。,汇总：,将最低粒度数据进行汇总。,清晰：,对单个字段数据进行重新分配和简化,。,数据仓库技术1,2.数据转换类型,（1）格式修正,（2）字段的解码,（3）计算值和导出值,（4）单个字段的分离,（5）信息的合并,（6）特征集合转化,（7）度量单位的转化,（8）关键字重新构造,（9）汇总,（10）日期/时间转化,数据仓库技术1,3.数据整合和合并,数据整合和合并是将相关的源数据组合,成一致的数据结构，装入数据仓库。,（1）实体识别问题,数据来源于多个不同的客户系统，对相同客户可能分别有不同的键码，将它们组合成一条单独的记录。,（2）多数据源相同属性不同值的问题,不同系统中得到的值存在一些差别,，需要给出合理的值。,数据仓库技术1,4.如何实施转换,自己编写程序实现数据转换,使用转换工具,数据仓库技术1,3.5.3 数据装载,（1）数据装载方式,（2）数据装载类型,数据仓库技术1,1.数据装载方式,基本装载,按照装载的目标表，将转换过的数据输入到目标表中去。,追加,如果目标表中已经存在数据，追加过程在保存已有数据的基础上增加输入数据。,破坏性合并,用新输入数据更新目标记录数据。,建设性合并,保留已有的记录，增加输入的记录，并标记为旧记录的替代。,数据仓库技术1,2.数据装载类型,最初装载,这是第一次对整个数据仓库进行装载。,增量装载,由于源系统的变化，数据仓库需要装载变化的数据。,完全刷新,这种类型的数据装载用于周期性重写数据仓库。,数据仓库技术1,3.5.4 ETL工具,数据转换引擎,代码生成器,通过复制捕获数据,数据仓库技术1,4.1 数据集市的概念,数据集市(Data Mart)具有特定应用的数据仓库，主要针对某个具有战略意义的应用或者具体,部门级的应用,，支持用户利用已有的数据获得重要的竞争优势或者找到进入新市场的具体解决方案。,人力资源数据集市,财务数据集市,销售数据集市,市场数据集市等,数据仓库技术1,4.2 数据集市的种类,独立的数据集市(Independent Data Mart)，数据直接来源于数据源。,从属的数据集市(Dependeant Data Mart)，数据来源于中央的数据仓库。,数据仓库技术1,数据源,数据源,分析工具,分析工具,独立数据集市,两种数据集市,分析工具,中央数据仓库,数据源,数据源,从属数据集市,分析工具,分析工具,数据仓库技术1,5.1 OLAP的定义,联机分析处理是是一种软件技术，他使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。,联机分析技术是共享多维信息的快速分析。快速性 5秒内作出反应可分析性 逻辑分析和统计分析多维性 支持多维表信息性 及时获取信息,数据仓库技术1,一个3维的模型，,3个维为：部门，时间，销售。,三维立方体，,三维表,OLAP实例,时间,部门,销售,1998 1999,汽车,家具,服装,销售量,利润增长%,数据仓库技术1,5.2 OLAP的多维数据分析,切片和切块,(slice and dice),固定多维表的某一维或某几维，使一些列或行不显示。,钻取(drill)各粒度级别(维的层次)之间的访问。,上钻(drill up),下钻,(drill down),旋转,(pivoting),平面数据的坐标轴转换。,数据仓库技术1,5.3 OLTP与OLAP,OLTP系统联机事务处理 On-Line Transaction Processing 事件驱动，面向应用。如：银行的储蓄系统,OLAP系统联机分析处理 On-Line Analytical Processing 跨部门，面向主题。,OLTP与OLAP对比,数据仓库技术1,面向分析，分析驱动,面向应用，事务驱动,面向决策人员，支持管理需要,面向操作人员，支持日常操作,用户数量相对较少,用户数量大,响应时间合理,对响应时间要求高,一次处理的数据量大,一次处理的数据量小,周期性更新,经常更新,历史数据,当前数据,综合性数据,细节性数据,数据库/数据仓库数据(分析型),数据库数据(操作型),OLAP,OLTP,数据仓库技术1,6 数据仓库系统（DWS),数据仓库系统=数据仓库(DW)+仓库管理+分析工具,关系数据,数据文件,其它数据,综合数据,当前数据,数据仓库,管理工具,抽取、转换,装载,元数据库,数据建模,工具,历史数据,用户查询,工具,C/S工具,OLAP工具,DM工具,源数据,仓库管理,数据仓库,分析工具,数据仓库技术1,参考书籍,数据仓库(Building the Data Warehouse)W.H.Inmon机械工业出版社,数据仓库技术及联机分析处理王珊等编著科学出版社,数据仓库技术1,Q&A,谢谢！,数据仓库技术1,决策支持系统对数据库系统的要求：,详细数据与,总结数据,(summary data),当前数据与,历史数据,数据源的,异构性,和,分布性,即时更新与,按需更新,联机事务处理OLTP与,联机分析处理OLAP,数据仓库技术1,操作型数据与分析型数据,操作型数据,分析型数据,细节的,综合的,在存取的瞬间是准确的,代表过去的数据,可更新,不更新,操作需求预先知道,操作需求预先不知道,事务驱动,分析驱动,面向日常业务应用,面向分析决策,一次操作数据量少,一次操作数据量多,对响应时间的要求高,对响应时间的要求低,数据仓库技术1,2.1 面向主题,汽车,人寿,健康,意外伤亡,操作性环境,应 用,顾客,保险单,保险费,索赔,数据仓库,主 题,主题是数据归类的标准,数据仓库技术1,2.2 集成,数据库,应用A m,f,应用B 1,0,应用C x,y,应用D 男，女,数据仓库,m,f,编码,应用A 管道cm,应用B 管道inches,应用C 管道mcf,应用D 管道yds,管道cm,属性度量,数据进入数据仓库之前，必须经过加工与集成,数据仓库技术1,应用A 描述,应用B 描述,应用C 描述,应用D 描述,应用A char(10),应用B dec fixed(9,2),应用C pic 9999999,应用D char(12,),多重信息源,？,描述,char(12),冲突的键码,集成,数据仓库技术1,操作性,数据仓库,J Jones,女,1945年7月20日,。,J Jones,去年有两张罚单,一次大事故,。,J Jones,Main大街123号,已婚,。,J Jones,两个孩子,高血压,。,人寿保险,汽车保险,房产保险,健康保险,J Jones,女,1945年7月20日出生,去年两张罚单,一次大事故,已婚,两个孩子,高血压,。,顾客,数据仓库技术1,2.3 非易失性,插入,删除,插入,修改,删除,访问,修改,访问,数据的逐个记录方式处理,数据的批量载入/访问,数据库,数据仓库,数据仓库技术1,2.4 随时间变化,数据库,数据仓库,时间期限：当前到6090天,记录更新,键码结构可能包括也可能不,包括时间元素,时间期限：510年,数据的复杂快照,键码结构包括时间元素,数据仓库技术1,粒度细节的级别,高细化低粒度,例如：一个顾客一个月内,的每个电话的细节,低细化高粒度,例如：一个顾客一个月内,的电话的综合,数据仓库技术1,数据的分割,难以管理,容易管理,分片,数据仓库技术1,3.3.1 简单堆积文件,1月1日 1月2日 1月3日,2月1日 2月2日 2月3日,3月1日 3月2日 3月3日,数据仓库技术1,3.3.2 轮转综合文件,星期一 星期二,星期天,第一周 第二周,第五周,一月 二月,十二月,数据仓库技术1,3.3.3 简化直接文件,数据库快照,姓名 顾客号 地址,张平 C960100 北京,王珂 C960101 上海,刘辉 C960102 天津,李强 C960103 成都,.,.,.,一月份顾客表,操作性数据,生成简化直接文件,数据仓库技术1,3.3.4 连续文件,姓名 顾客号 地址,张平 C020100 北京,王珂 C020101 上海,张顺 C020102 天津,李强 C020103 成都,姓名 顾客号 地址,张平 C020100 北京,王珂 C020101 上海,张顺 C020101 广州,李强 C020103 成都,刘诚 C020105 杭州,姓名 顾客号 日期 地址,张平 C020100 1-2月 北京,王珂 C020101 1-2月 上海,张顺 C020103 1月 天津,张顺 C020103 2月 广州,李强 C020103 1-2月 成都,刘诚 C020105 2月 杭州,1月份顾客表,2月份顾客表,1-2月份顾客表,数据仓库技术1,元数据（Metadata),元数据关于数据的数据，它描述了数据的结构、内容、码、索引等。,元数据的内容,不仅为数据仓库的创建提供必要的信息、描述和定义，还为DSS分析人员访问数据仓库提供直接的或辅助的信息。,数据仓库技术1,数据仓库中元数据必须包含的内容,数据仓库的主题描述：主题名、主体的公共码键、有关描述信息等,外部数据和非结构化数据的描述：外部数据源名、存储地点、存储内容简述,记录系统定义：主题名、属性名、数据源系统、源表名、源属性名,逻辑模型的定义：关系名、属性1、属性2,属性n,数据进入数据仓库的转换规则,数据的抽取历史,粒度的定义,数据分割的定义,广义索引：广义索引名，属性1、属性2,属性n,有关存储路径和结构的描述,数据仓库技术1,三维表,切片,下钻,旋转,21.7,306677,21.3,202388,所有其他,27.2,325402,22.4,375098,汽车,31.1,66005,33.8,62548,家具,21.5,381102,27.2,234670,服装,利润增长%,销售量,利润增长%,销售量,1999,1998,数据仓库技术1,下钻表,14.2,22071,8.2,63767,音乐,47.5,122545,43.9,116280,附件,15.0,180786,14.2,195051,维修,27.2,325402,22.4,375098,汽车,利润增长%,销售量,利润增长%,销售量,1999,1998,三维表,数据仓库技术1,切片表,306677,所有其他,325402,汽车,66005,家具,381102,服装,销售量,1999,三维表,数据仓库技术1,旋转表,三维表,时间维,产品维,产品维,时间维,（a）,行列交换,旋转以改变,显示布局,时间维,地区维,产品维,时间维,产品维,地区维,数据仓库技术1,旋转前的数据,旋转实例,旋转后的数据,数据仓库技术1,星型模式,产品标识符,类标识符,大类标识符,产品名,类名,大类名,现货存量,销售表,产品标识符,商店标识符,日期标识符,单 价,销售金额,日期表,日期标识符,日,月,季,年,商店标识符,市名,省名,国名,洲名,商店表,产品表,数据仓库技术1,订货表,客户表,销售员表,事实表,产品表,日期表,地区表,星型模型数据存储情况示意图,数据仓库技术1,雪花模式,销售表,产品标识符,商店标识符,日期标识符,单 价,销售金额,日期表,日期标识符,日,月,月,季,月表,季,年,季表,产品表,产品标识符,类标识符,产品名,现货存量,类表,类标识符,大类标识符,类名,大类表,大类标识符,大类名,商店表,商店标识符,市名,市名,市名,省名,市表,省名,国名,省表,国名,洲名,国表,数据仓库技术1,演讲完毕，谢谢听讲,!,再见，see you again,3rew,2026/11/4,数据仓库技术1,