数据仓库及数据挖掘-数据模型及元数据..ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,*,*,/37,作业,4,理解数据仓库的数据组织要求和方法,掌握数据仓库的星型模型、雪化模型的设计方法,理解元数据的类型及其作用,10/28/2026,1,数据仓库与数据挖掘,内容提要,数据模型,元数据,数据的粒度,数据模型,传统数据库数据模型,数据仓库的数据模型不同于数据库的数据模型在于,数据仓库只为决策分析用，数据仓库的增加了时间属性数据。,数据仓库增加了一些综合数据。,数据仓库的数据建模是适应决策用户使用的逻辑数据模型。,10/28/2026,3,数据仓库概念模型,1.,数据仓库模型的概念,数据仓库概念模型的设计需要给出一个数据仓库的粗略蓝本，以此为工具来确认数据仓库的设计者是否已经正确的了解数据仓库最终用户的信息需求。,（,1,）概念数据模型,在构建数据仓库的概念模型时，可以采用在业务数据处理系统中经常应用的企业数据模型,ER,图。,这是一种描述组织业务概况的蓝图，包括整个组织系统中各个部门的业务处理及其业务处理数据。,数据仓库与操作型数据库一样，也存在高层模型（,ERD，,实体关系层）、中层模型（,DIS，,逻辑层）和低层模型（物理层）,3,个层次数据模型。,10/28/2026,4,企业数据模型,(,举例,),财务部门,销售收入帐,应收帐,应付帐,成本帐,销售部门,销售计划,销售合同,销售统计,人事部门,员工业绩记录,员工技能情况,员工薪酬表,财务,人事,销售,.,.,.,企业数据模型,10/28/2026,5,数据仓库的数据模型,数据仓库存储采用多维数据模型。,果汁,可乐,牛奶,商品维,奶油,浴巾,香皂,北京,上海,长沙,1 2 3 4 5 6 7,城市维,日期维,维就是相同类数据的集合，商店、时间和产品都是维。各个商店的集合是一维，时间的集合是一维，商品的集合是一维。每一个商店、每一段时间、每一种商品就是某一维的一个成员。,每一个销售事实由一个特定的商品、一个特定的时间、一个特定的商品组成。,两维表，如通常的电子表格。三维构成立方体，若再增加一维，则图形很难想象，也不容易在屏幕上画出来。,10/28/2026,6,星型数据模型,大多数的数据仓库都采用“星型模型”。星型模型是由“事实表”（大表）及多个“维表”（小表）所组成。,“事实表”中存放大量关于企业的事实数据（数量数据）。,例如：多个时期的数据可能会出现在同一个“事实表”中。“维表”中存放描述性数据，维表是围绕事实表建立的较小的表。,维度表,维度表,维度表,维度表,事实表,维度表,10/28/2026,7,星型模型举例,10/28/2026,8,订货表,客户表,销售员表,事实表,产品表,日期表,地区表,星型模型数据存储情况示意图,10/28/2026,9,星型模型,模型的核心是事实表，维表通过主键与事实表和其他维表链接,事实表中的数据不允许修改，新数据只是简单的增加,非规范化程度高，如不同时期的同类数据可能出现在同一维表中，数据冗余大,存取速度快，以增加空间换取较快的访问速度,难于适应业务需求的变化,10/28/2026,10,雪花数据模型,雪花模型是对星型模型的维表进一步层次化，原来的各维表可能被扩展为小的事实表，形成一些局部的“层次”区域,在上面星型模型的数据中，对“产品表”“日期表”“地区表”进行扩展形成雪花模型数据见下图。,维度表,维度表,维度表,维度表,维度表,事实表,详细类别表,详细类别表,10/28/2026,11,雪花模型举例,10/28/2026,12,星网模型,星网模型是将多个星型模型连接起来形成网状结构。多个星型模型通过相同的维，如时间维，连接多个事实表。,10/28/2026,13,数据仓库的逻辑模型与物理模型,数据仓库（中间层）逻辑模型,中间层数据模型亦可称为逻辑模型，它是对高层数据概念模型的细分，在高层数据模型中所标识的每个主题域或指标实体都需要与一个逻辑模型相对应。,物理数据模型,是依据中间层的逻辑数据模型而创建的，它通过确定模型的键码属性和模型的物理特性，扩展中间层数据模型而建立。此时，物理数据模型就由一系列表所构成，其中最主要的是事实表模型和维表模型。,物理模型中的事实表来源于逻辑模型，它依据数据仓库具体的应用而建立。事实表是星型模型结构的核心。,10/28/2026,14,维模型,维度表模型也需要根据逻辑模型设计，在设计过程中考虑维度表模型是用户分析数据的窗口。维度表应该含有商业项目的文字描述，维度的设计提供了维度属性的定义。这些属性应具有这样一些特征：,A.,可用文字描述。,B.,离散值。,C.,有规定的限制。,D.,在分析过程中可以提供行标题。,10/28/2026,15,1.,元数据的定义,元数据在数据仓库的设计、运行中有着重要的作用，它表述了数据仓库中的各对象，遍及数据仓库的所有方面，是数据仓库中所有管理、操作、数据的数据，是整个数据仓库的核心。,元数据是关于数据、操纵数据的进程和应用程序的结构和意义的描述信息，其主要目标是提供数据资源的全面指南。其范围可以是某个特别的数据库管理系统中从现实世界的概念上的一般概括，到详细的物理说明。,元数据及其作用,10/28/2026,16,在数据库中，元数据是对数据库中各个对象的描述。关系数据库中，这种描述就是对表、列、数据库和其他对象的定义。,从广义上讲，元数据代表定义数据仓库的任何对象，,无论它是一个表、一个列、一个查询、一个业务规则，或者是数据仓库内部的数据转移等等。,10/28/2026,17,元数据举例,10/28/2026,18,举例：全国文化信息资源共享工程中的元数据,疾病,描述,:,显示器件,:,缩写,:,ILLNE,名字空间,URI:purl.org/,ndcnc,/elements/ILLNE,附属标记,:20030729135551,疾病名称,疾病分类,疾病简介,症状,病因及发病机制,病理变化,诊断,治疗,预防,预后,主题词或关键词,相关药物,相关疾病,相关文献,相关指标,相关书目,相关专家,相关机构,图片,视频,音频,10/28/2026,19,举例：全国文化信息资源共享工程中的元数据,10/28/2026,20,举例：全国文化信息资源共享工程中的元数据,描述,:,显示器件,:,缩写,:,WEAPO,名字空间,URI:purl.org/,ndcnc,/elements/WEAPO,附属标记,:20030729135519,兵器名称,研制国别,研制机构,研制时间,分类,关键词,简介,图片,视频,音频,相关书目,10/28/2026,21,元数据的作用,(1),元数据是进行数据集成所必需的,(2),元数据定义的语义层可以帮助最终用户理解数据仓库中的数据,(3),元数据是保证数据质量的关键,(4),元数据可以支持需求变化,10/28/2026,22,元数据的分类,1.,按元数据的类型分类,关于基本数据的元数据：包括数据源、数据仓库、数据集市和应用程序管理的所有数据。,用于数据处理的元数据,关于企业的组织结构的元数据,2.,按对象级别分类,（,1,）概念级,（,2,）逻辑级,（,3,）物理级,10/28/2026,23,3.,从用户的角度分类,（1,）业务元数据，具体包括以下内容：,A.,企业概念模型,B.,多维数据模型,C.,业务概念模型和物理数据之间的依赖关系,D.,支持面向业务概念的浏览、导航,E.,支持动态立即查询,F.,数据挖掘,（,2,）技术元数据,10/28/2026,24,4.,从来源的角度分类,（1,）工具产生的元数据,（,2,）源提供的元数据,（,3,）企业模型,（4,）系统导入的元数据,（,5,）特定的用户产生的元数据,10/28/2026,25,5.,从元数据的目的角度分类,一般可以通过一种更粗的方法来区分元数据：,（,1,）用于信息的元数据,（,2,）用于控制的元数据,10/28/2026,26,6.,按照产生,/,使用的时间分类,根据获取或生成的时间，可以分为：,A.,设计时收集的元数据,B.,构建时生成的元数据,C.,运行时生成的元数据,根据使用的时间，可以分为：,A.,设计时使用的元数据,B.,构建使使用的元数据,C.,运行时使用的元数据,10/28/2026,27,元数据管理的现状,数据共享领域的某些趋势说明数据仓库中的元数据需求正逐步增加，这些趋势包括：,A.,数据模型处理的对象由传统的字符型和数值型扩展到多种媒体类型。,B.,支持一家企业的数据仓库扩展到支持多个组织多个企业共享的数据仓库。,C.,信息流控制由过去的从源系统到数据仓库的单向流动扩展到由数据仓库向源系统的反馈。,D.,各个厂家的专用数据格式向公共开放标准元数据交换格式转换，以提高其信息捕获能力。,元数据管理之所以困难，一个很重要的原因就是缺乏统一的标准。在这种情况下，各公司的元数据管理解决方案各不相同。,近几年，随着元数据联盟,MDC（Meta Data Coalition）,的开放信息模型,OIM（Open Information Model）,和,OMG,组织的公共仓库模型,CWM（Common Warehouse Model）,标准的逐渐完善，以及,MDC,和,OMG,组织的合并，为数据仓库厂商提供了统一的标准，从而为元数据管理铺平了道路。,10/28/2026,28,元数据管理标准,数据仓库领域中两个最主要的元数据标准：,MDC,的,OIM,标准和,OMG,的,CWM,标准。,元数据联合会,MDC,建于,1995,年，是一个致力于建立与厂商无关的、不依赖于具体技术的企业元数据管理标准的非赢利技术联盟，目的是提供标准化的元数据交互。该联盟有,150,多个会员，其中包括微软和,IBM,等著名软件厂商。,1999年7月,MDC,接受了微软的建议，将,OIM,作为元数据标准。,MDC,于1996,年开发了,MDIS（Meta Data Interchange Specification）,并完成了,MDCOIM,的技术评审，,MDCOIM,基于微软的开放信息模型,OIM，,是一个独立于技术的、以厂商为核心的信息模型。,OIM,是微软的元数据管理产品,Microsoft Repository,的一部分。由微软和其它,20,多家公司共同开发的，作为微软开放过程的一部分，经过了,300,多个公司的评审。,10/28/2026,29,元数据管理标准,OMG,是一个拥有,500,多会员的国际标准化组织。在,1995,年采用了,MOF（Meta Object Facility），,并不断完善之。,1997,年采用了,UML，2000,年，,OMG,又采用了,CWM。,公共仓库元模型（,Common Warehouse,Metamodel,）,的主要目的是在异构环境下，帮助不同的数据仓库工具、平台和元数据知识库进行元数据交换。,2001年3,月，,OMG,颁布了,CWM 1.0,标准。,CWM,模型既包括元数据存储，也包括元数据交换，它是基于以下三个工业标准制定的：,(1),UML：,它对,CWM,模型进行建模。,(2),MOF（,元对象设施）：它是,OMG,元模型和元数据的存储标准，提供在异构环境下对元数据知识库的访问接口。,(3),XMI（XML,元数据交换）：它可以使元数据以,XML,文件流的方式进行交换。,OMG,的,UML、MOF,和,CWM,形成了,OMG,建模和元数据管理、交换结构的基础，推动了元数据标准化的快速发展。,为了推动元数据标准化的发展，,MDC,和,OMG,在元数据标准的制定上协同工作。,1999年4,月，,MDC,成为,OMG,的成员，而,OMG,也同时成为,MDC,的成员。,MDC,中使用了,OMG,的,UML，,而,MDCOIM,中的数据仓库部分被用来作为,OMG,的公共仓库元数据交互（,CWMI：Common Warehouse Metadata Interchange）,的设计参考。在两个组织的技术力量的合作努力下，元数据标准将逐步一致化。,10/28/2026,30,数据粒度,粒度问题是设计数据仓库的一个最重要方面。,粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高，粒度级就越小；相反，细化程度越低，粒度级就越大。,数据的粒度一直是一个设计问题。,在早期建立的操作型应用系统中，当详细的数据被更新时，几乎总是把它存放在最低粒度级上。但在数据仓库环境中，对粒度不作假设。,数据仓库环境中粒度的设计要在数据仓库中的数据量的大小、查询的效率及详细程度之间要作出权衡。,10/28/2026,31,数据粒度,10/28/2026,32,数据粒度,1.,数据粒度的划分,适当划分粒度的第一步是,估算,数据仓库中将来使用的数据行数和所需的直接存取存储设备数,在计算出数据仓库所需要占用的存储空间以后，需要根据所需要的存储空间大小确定是否划分粒度，如果需要划分，又应该怎样划分。,10/28/2026,33,2.,确定粒度的级别,在数据仓库中确定粒度时，需要考虑这样一些因素：,要接受的分析类型,可接受的数据最低粒度,能够存储的数据量。,计划在数据仓库中进行的分析类型将直接影响数据仓库的粒度划分。,数据仓库通常在同一模式中使用多重粒度。,10/28/2026,34,确定数据仓库粒度的另外一个要素是数据仓库可以使用多种存储介质的空间量。,选择合适的粒度是数据仓库设计过程中所要解决的一个复杂的问题，因为粒度的确定实质上是对业务决策分析、硬件、软件和数据仓库使用方法的一个折衷。,还有一种可以大幅降低数据仓库容量的方法，就是只采用概括数据。,10/28/2026,35,