数据仓库与数据挖掘第2章.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,数据仓库与数据挖掘第2章,*,数据仓库与数据挖掘第2章,2026/11/9,数据仓库与数据挖掘第2章,第一节 多维数据模型,1.数据立方体,数据仓库和OLAP工具基于,多维数据模型,，多维数据模型将数据看作,数据立方体,（data cube）形式。数据立方体允许以多维对数据建模和观察，由,维,和,事实,定义,数据仓库与数据挖掘第2章,第一节 多维数据模型,1,.,数据立方体,维是关于一个组织想要记录的透视或实体,每一个维都有一个表与之相关联，该表称为维表，它进一步描述维,多维数据模型围绕中心主题组织，主题用事实表表示,事实是数值的度量，事实表包括事实的名称或度量，以及每个相关维表的关键字,数据仓库与数据挖掘第2章,第一节 多维数据模型,1,.,数据立方体,设某BSEK北星易家连锁公司由下列关系表描述：,Customer（cust_id，name，address，age，）,Item（item_id，name，type，price，）,Employee（empl_id，name，salary，）,purchases（trans_id，cust_id，empl_id，date，time，,method_paid，amount，）,Branch（branch_id，name，address）,数据仓库与数据挖掘第2章,第一节 多维数据模型,1.数据立方体,例如，BSEK可能创建一个数据仓库sales，记录商店的销售情况，涉及time，item和location。典型3-D立方体如图：,time,location,item,数据仓库与数据挖掘第2章,第一节 多维数据模型,2.多维数据库模式,E-R数据模型适用于OLTP，而数据仓库需要简明的、面向主题的模式，便于联机数据分析。数据仓库的数据模型采用,多维数据模型,星型模式,雪花模式,事实星座模式,数据仓库与数据挖掘第2章,第一节 多维数据模型,2.多维数据库模式,星型模式,：是最常见的模型范式。这种模式的数据仓库包含：一个大的,事实表,和一组小的,维表,事实表,包含大批数据和不含冗余的中心表,维表,附属表，每维一个表,数据仓库与数据挖掘第2章,第一节 多维数据模型,2.多维数据库模式,星型模式,time_key,item_key,branch_key,location_key,money _sold,units_sold,branch_key,branch_name,branch_type,location_key,street,city,country,item_key,item_name,branch,type,time_key,day,Week,month,Sales,事实表,time,维表,branch,维表,location,维表,item,维表,数据仓库与数据挖掘第2章,第一节 多维数据模型,2.多维数据库模式,雪花模式,：是星型模式的变种，其中某些维表是规范化的，因而数据被进一步分解到附加的表中,雪花模式的规范化维表，可以减少冗余，便于维护，并且节省存储空间；同巨大的事实表相比，空间节省有限,执行查询需要更多连接操作，雪花模型可能降低浏览的性能,数据仓库与数据挖掘第2章,第一节 多维数据模型,2.多维数据库模式,雪花模式,time_key,item_key,branch_key,location_key,money _sold,units_sold,branch_key,branch_name,branch_type,location_key,street,city_key,item_key,item_name,branch,type_key,time_key,day,Week,month,type_key,type_name,city_key,city,country,Sales,事实表,time,branch,location,维表,item,维表,type,维表,city,维表,数据仓库与数据挖掘第2章,第一节 多维数据模型,2.多维数据库模式,事实星座模式,复杂的应用可能需要多个事实表共享维表，这种模式可以视为星型模式集，因此称为星系模式，或事实星座模式,数据仓库与数据挖掘第2章,第一节 多维数据模型,2.多维数据库模式,事实星座模式,time_key,item_key,branch_key,location_key,money_sold,units_sold,branch_key,branch_name,branch_type,location_key,street,city_key,item_key,item_name,branch,type_key,time_key,day,Week,month,item_key,time_key,from_location,shipper_key,money_cost,units_shipped,shipper_key,shipper_name,location_key,Sales,事实表,time,branch,location,维表,item,维表,shipping,事实表,shipper,维表,数据仓库与数据挖掘第2章,第一节 多维数据模型,3.度量的分类与计算,数据立方体,度量,是一个数值函数，该函数可以对数据立方体的每一个点求值。通过对给定点的各,维-值对,聚集数据，计算该点的度量值,度量根据所用的聚集函数分成三类：,分布的,度量、,代数的,度量、,整体的,度量,数据仓库与数据挖掘第2章,第一节 多维数据模型,3.度量的分类与计算,分布的,：一个聚集函数是分布的，如果它能以如下分布方式进行计算,设数据被划分为n个集合，函数在每一部分上的计算得到一个聚集值。如果将函数用于n个聚集值得到的结果，与将函数用于所有数据得到的结果一样，则该函数可以用分布方式计算。,一个度量是分布的，如果它可以用分布聚集函数得到,数据仓库与数据挖掘第2章,第一节 多维数据模型,3.度量的分类与计算,代数的,：一个聚集函数是代数的，如果它能由一个具有M个参数的代数计算（M是一个有界整数），而每个参数都可以用一个分布聚集函数求得,一个度量是代数的，如果它可以用代数聚集函数得到,数据仓库与数据挖掘第2章,第一节 多维数据模型,3.度量的分类与计算,整体的,：一个聚集函数是整体的，如果描述它的子聚集所需的存储没有一个常数界，即不存在一个具有M个参数的代数函数进行这一计算（M是常数），而每个参数都可以用一个分布聚集函数求得,一个度量是整体的，如果它可以用整体聚集函数得到,数据仓库与数据挖掘第2章,第一节 多维数据模型,3.度量的分类与计算,多数数据立方体的应用需要有效地计算分布的和代数的度量，存在许多有效的技术；而有效计算整体的度量是很困难的，往往采取计算以满意的结果估计大数据集的中值，不进行精确计算。,例如，median（）和mode（）,数据仓库与数据挖掘第2章,第一节 多维数据模型,4.多维数据模型上的OLAP操作,上卷（,roll-up,）,下钻（,drill-down,）,切片（,slice,）、切块（,dice,）,转轴 （,pivot,）,钻过（,drill-across,）,钻透（,drill-through,）,数据仓库与数据挖掘第2章,第一节 多维数据模型,4.多维数据模型上的OLAP操作,概念分层,将属性或维组织成渐进的抽象层，它将低层概念映射到更一般的高层概念。概念分层对于多抽象层上的挖掘有用,数据仓库与数据挖掘第2章,第一节 多维数据模型,4.多维数据模型上的OLAP操作,上卷,：通过一个维的概念分层向上攀升或通过维归约，在数据立方体上进行聚集,数据仓库与数据挖掘第2章,第一节 多维数据模型,4.多维数据模型上的OLAP操作,上卷,Location,Time,Item,芝加哥,纽约,芝加哥,温哥华,一季度,二季度,三季度,四季度,家庭娱乐,计算机,电话,安全,Time,Item,美国,加拿大,一季度,二季度,三季度,四季度,家庭娱乐,计算机,电话,安全,Location,分层定义为全序：“street city province_or_state county”,数据仓库与数据挖掘第2章,第一节 多维数据模型,4.多维数据模型上的OLAP操作,下钻,：通过沿维的概念分层向下或引入新的维来实现，它是上卷的逆操作，由不太详细的数据到更详细的数据,数据仓库与数据挖掘第2章,第一节 多维数据模型,4,.,多维数据模型上的OLAP操作,下钻,分层定义全序为：“day month quarter year”,Location,芝加哥,纽约,芝加哥,温哥华,Time,一季度,二季度,三季度,四季度,Item,家庭娱乐,计算机,电话,安全,Item,家庭娱乐,计算机,电话,安全,Time,1月,2月,3月,4月,5月,6月,7月,8月,9月,10月,11月,12月,Location,芝加哥,纽约,芝加哥,温哥华,数据仓库与数据挖掘第2章,第一节 多维数据模型,4.多维数据模型上的OLAP操作,切片,：切片操作在给定的数据立方体的一个维上进行选择，导致一个子方,数据仓库与数据挖掘第2章,第一节 多维数据模型,4.多维数据模型上的OLAP操作,切片,Location,Time,Item,芝加哥,纽约,芝加哥,温哥华,一季度,二季度,三季度,四季度,家庭娱乐,计算机,电话,安全,Item,芝加哥,温哥华,家庭娱乐,计算机,电话,安全,Location,纽约,多伦多,Time=“Q1”,数据仓库与数据挖掘第2章,第一节 多维数据模型,4.多维数据模型上的OLAP操作,切块,：切块操作通过对两个或多个维执行选择，定义子方,数据仓库与数据挖掘第2章,第一节 多维数据模型,4.多维数据模型上的OLAP操作,切块,(location=“Toronto”or“Vancouver”)and(Time=“Q1”or“Q2”)and(item=“home entertainment”or“computer”),Location,Time,Item,芝加哥,纽约,芝加哥,温哥华,一季度,二季度,三季度,四季度,家庭娱乐,计算机,电话,安全,Time,Item,多伦多,温哥华,一季度,二季度,家庭娱乐,计算机,Location,数据仓库与数据挖掘第2章,第一节 多维数据模型,4.多维数据模型上的OLAP操作：,转轴,：是一种目视操作，它转动数据的视角，提供数据的替代表示,数据仓库与数据挖掘第2章,第一节 多维数据模型,4.多维数据模型上的OLAP操作,转轴,Item,芝加哥,温哥华,家庭娱乐,计算机,电话,安全,Location,纽约,多伦多,Item,家庭娱乐,安全,芝加哥,纽约,多伦多,温哥华,Location,计算机,电话,数据仓库与数据挖掘第2章,第一节 多维数据模型,4.多维数据模型上的OLAP操作,钻过,：执行涉及多个事实表的查询,钻透,：操作使用关系SQL机制，钻到数据立方体的底层，到后端关系表,OLAP,的许多特征体现在,统计数据库,（SDB）的早期工作中，而SDB 关注社会经济应用，OLAP旨在商务应用以及有效处理海量数据,数据仓库与数据挖掘第2章,第二节 数据仓库的系统结构,1.数据仓库的设计步骤,数据仓库设计需要考虑的四种视图：,自顶向下视图,：可以帮助选择数据仓库所需的相关息，这些信息能够满足当前和未来商务的需求,数据源视图,：揭示被操作数据库系统捕获、存储和管理的信息,数据仓库视图,：包括事实表和维表,商务查询视图,：从最终用户的角度透视数据仓库中的数据,数据仓库与数据挖掘第2章,第二节 数据仓库的系统结构,1.数据仓库的设计步骤,数据仓库的设计包括如下步骤：,选取待建模的商务处理。如果商务过程针对整个组织，并涉及多个复杂对象，选用数据仓库模型；如果是某一部门的、或某一类商务处理，应选择数据集市。,选取商务处理的粒度,选取用于每个事实表记录的维,选取安放在事实表中的度量,数据仓库与数据挖掘第2章,第二节 数据仓库的系统结构,2.数据仓库的结构,数据仓库通常采用三层结构：,底层：数据仓库服务器,中间层：,OLAP,服务器,顶层：前端工具,数据仓库与数据挖掘第2章,第二节 数据仓库的系统结构,清理 转换 集成,输出,业务数据库,外部信息源,数据仓库,数据集市,OLAP服务器,底层：数据仓库服务器,顶层：前端工具,中间层：OLAP服务器,元数据存贮,数据仓库与数据挖掘第2章,第二节 数据仓库的系统结构,2.数据仓库的结构,从结构的角度，有三种数据仓库模型：,企业仓库,数据集市,虚拟仓库,数据仓库与数据挖掘第2章,第二节 数据仓库的系统结构,2.数据仓库的结构,企业仓库,企业仓库(Enterprise warehouse)收集跨越整个企业的各个主题的所有信息。它提供全企业的数据集成，数据通常来自多个操作型数据库和外部信息提供者，并且是跨越多个功能范围的。它通常包含详细数据和汇总数据,企业数据仓库可以在传统的大型机上实现，例如UNIX超级服务器或并行结构平台。它需要广泛的业务建模，可能需要多年的时间来设计和建造,数据仓库与数据挖掘第2章,第二节 数据仓库的系统结构,2.数据仓库的结构,数据集市,数据集市（data mart）包含对特定用户有用的，企业范围数据的一个子集。它的范围限于选定的主题，例如一个商场的数据集市可能限定它的主题为顾客、商品和销售。数据集市中的数据通常为汇总数据,数据仓库与数据挖掘第2章,第二节 数据仓库的系统结构,2.数据仓库的结构,数据集市,实现数据集市的周期一般是数周，而不是数月或数年，然而，如果它的规划不是企业范围的，从长远讲，可能会涉及很复杂的集成,根据数据的来源不同，数据集市分为独立的依赖的二类。在独立的数据集市中，数据来自一个或多个操作型数据库或外部信息提供者，或者是一个特定的部门或地区本地产生的数据。在依赖的数据集市中，数据直接来自企业数据仓库,数据仓库与数据挖掘第2章,第二节 数据仓库的系统结构,2.数据仓库的结构,虚拟仓库,虚拟仓库（virtual warehouse）是操作型数据库上视图的集合。为了有效地处理查询，只做了一些可能的汇总视图。虚拟仓库易于创建，但需要操作型数据库服务器具有剩余能力,数据仓库与数据挖掘第2章,第二节 数据仓库的系统结构,3.OLAP服务器的类型,关系,OLAP,（,ROLAP,）服务器,多维,OLAP,（,MOLAP,）服务器,混合,OLAP,（,HOLAP,）服务器,特殊的,SQL,服务器,数据仓库与数据挖掘第2章,第二节 数据仓库的系统结构,4.关系OLAP（Relational OLAP）,ROLAP将分析用的多维数据 存储在关系数据库中，并根据应用需求有选择的定义一批视图作为表存储在关系数据库中,。不,必要将每一个SQL查询都作为实视图保存，只定义那些应用频率比较高、计算工作量比较大的查询作为实视图,数据仓库与数据挖掘第2章,4.关系OLAP（Relational OLAP）,对每个针对OLAP服务器的查询，优先利用已经计算好的实视图来生成查询结果以提高查询效率。同时用作ROLAP存储器的RDBMS也针对OLAP作相应的优化，比如并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、SQL的OLAP扩展(cube、rollup)等等,第二节 数据仓库的系统结构,数据仓库与数据挖掘第2章,第二节 数据仓库的系统结构,5.多维OLAP（Multidimensional OLAP）,MOLAP将OLAP分析所用到的多维数据物理上存储为多维数组的形式，形成“立方体”的结构。维的属性值被映射成多维数组的下标值或下标的范围，而总结数据作为多维数组的值存储在数组的单元中,数据仓库与数据挖掘第2章,第二节 数据仓库的系统结构,5.多维OLAP（Multidimensional OLAP）,由于MOLAP采用新的存储结构，从物理层实现起，因此又称为物理OLAP（Physical OLAP）,而ROLAP主要通过一些软件工具或中间软件实现，物理层仍采用关系数据库的存储结构，因此称为虚拟OLAP（Virtual OLAP）,数据仓库与数据挖掘第2章,第二节 数据仓库的系统结构,6.ROLAP与MOLAP比对,ROLAP,MOLAP,沿用现有的关系数据库的技术,专为OLAP所设计,响应速度比MOLAP慢；现有关系型数据库已经对OLAP做了很多优化，包括并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、SQL的OLAP扩展(cube、rollup)等，性能有所提高,性能好、响应速度快,数据装载速度快,数据装载速度慢,存储空间耗费小，维数没有限制,需进行预计算，可能导致数据爆炸，无法支持维的公台变化,可以通过SQL实现详细数据与概要数据的存储,缺乏数据模型和数据访问的标准,不支持有关预计算读写操作；SQL无法完成有些计算；无法完成多行计算；无法完成维之间计算,支持高性能决策支持计算；扶着跨维计算；多用户读写操作,借用RDBMS存储数据，没有文件大小限制,受操作系统平台文件大小限制，难达到TB级,维护困难,管理简便,数据仓库与数据挖掘第2章,第二节 数据仓库的系统结构,6.ROLAP与MOLAP比对,左边为ROLAP方式，右边为MOLAP方式，对应的是同一个三维模型,数据仓库与数据挖掘第2章,第二节 数据仓库的系统结构,6,.,混合OLAP（Hybird OLAP）,混合型OLAP（HOLAP）把MOLAP和ROLAP两种结构的优点结合起来,迄今为止，对HOLAP还没有一个正式的定义。但很明显，HOLAP结构不应该是MOLAP与ROLAP结构的简单组合，而是这两种结构技术优点的有机结合，能满足用户各种复杂的分析请求,数据仓库与数据挖掘第2章,第三节 数据仓库的实现,1.数据立方体的有效计算,多维数据分析的核心是有效地计算多个维集合上的聚集，类似于SQL中的分组,基本立方操作及实现,部分物化,数据立方体计算中多路数组聚集,数据仓库与数据挖掘第2章,第三节 数据仓库的实现,2.索引OLAP数据,位图索引,连接索引,复合连接索引,数据仓库与数据挖掘第2章,第四节 基于数据仓库的数据挖掘,1.数据仓库的使用,数据仓库的三种应用：,信息处理,分析处理,数据挖掘,数据仓库与数据挖掘第2章,第四节 基于数据仓库的数据挖掘,1.数据仓库的使用,信息处理,：支持查询和基本的统计分析，并使用交叉表、表、图表或图进行报告。数据仓库信息处理的当前趋势是构造低成本的基于Web的存取工具，然后与Web浏览器集成在一起,数据仓库与数据挖掘第2章,第四节 基于数据仓库的数据挖掘,1.数据仓库的使用,分析处理,：支持基本的OLAP操作，包括切片与切块、下钻、上卷和转轴。一般在汇总的和细节的历史数据上操作，它支持数据仓库的多维数据分析,数据仓库与数据挖掘第2章,第四节 基于数据仓库的数据挖掘,1.数据仓库的使用,数据挖掘,：支持知识发现，包括找出隐藏的模式和关联，构造分析模型，进行分类和预测，并用可视化工具提供挖掘结果,数据挖掘不限于分析数据仓库中的数据，比OLAP更自动化，更深入，应用更广,数据仓库与数据挖掘第2章,第四节 基于数据仓库的数据挖掘,2.从OLAP到OLAM,OLAM联机分析挖掘将联机分析处理与数据挖掘以及多维数据库中的发现知识集成在一起。,数据仓库中的数据高质量,环绕数据仓库的有价值的信息处理基础设施,基于,OLAP,的探测式数据分析,数据挖掘功能的联机选择,数据仓库与数据挖掘第2章,演讲完毕，谢谢听讲,!,再见，see you again,3rew,2026/11/9,数据仓库与数据挖掘第2章,