收藏 分销(赏)

省级BI规范元数据管理规范样本.doc

上传人:二*** 文档编号:4554703 上传时间:2024-09-29 格式:DOC 页数:111 大小:1.25MB
下载 相关 举报
省级BI规范元数据管理规范样本.doc_第1页
第1页 / 共111页
亲,该文档总共111页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述

1、经营分析系统元数据管理规范.(讨论稿)二三年十月目录1总则11.1概述11.2目的21.3合用范畴21.4包括附件内容21.5起草单位31.6解释权32元数据管理规范总体阐明42.1规范涉及元数据原则42.2元数据基本框架62.3省级(涉及一级经营分析系统)元数据管理架构72.4中央元数据库管理架构82.5元数据管理系统拓扑图103经营分析系统核心元数据123.1概述123.2经营分析系统基本层元数据123.2.1概述123.2.2对象模型元数据133.2.3基本元数据163.2.3.1概述163.2.3.2业务信息173.2.3.3数据类型193.2.3.4表达式193.2.3.5主键和索引

2、203.2.3.6系统布置213.2.3.7类型映射233.3经营分析系统数据获取层元数据243.3.1概述243.3.2ETL元数据253.4经营分析系统数据存储层元数据303.4.1概述303.4.2数据仓库元数据313.4.2.1关系模型元数据313.4.3数据仓库管理元数据333.4.3.1仓库过程元数据333.4.3.2仓库操作元数据363.5经营分析系统数据访问层元数据383.5.1概述383.5.2OLAP元数据393.5.3数据挖掘元数据413.5.4信息可视化433.6其她可选元数据454经营分析系统元数据库存储原则474.1概述474.2元数据库存储原则474.3备份规定4

3、84.3.1省级元数据备份规定484.3.2中央元数据备份规定505省级与集团公司元数据接口规范535.1概述535.2集团公司职责535.3各省公司职责535.4各省元数据提交范畴545.5各省元数据提交规定545.6接口文献传播规定555.7省级与集团公司元数据接口文献和描述文献命名方式555.8省级元数据接口文献描述文献格式原则575.9省级中央元数据库CORBA IDL接口575.10省级中央元数据库XMI接口595.11校验原则616经营分析系统元数据库接口规范646.1省级元数据库接口646.1.1概述646.1.2集团公司职责656.1.3各省公司职责656.1.4各省元数据接口

4、管理范畴656.1.5各省元数据XMI接口抽取规定666.1.6省级元数据库XMI文献命名规则666.1.7省级元数据接口文献描述文献格式原则686.1.8省级元数据库省级经营分析系统XMI接口内容与格式规定686.1.9省级元数据库CORBA IDL接口706.2一级经营分析系统元数据库接口726.2.1概述726.2.2集团公司职责736.2.3一级经营分析系统元数据提交范畴736.2.4一级经营分析系统元数据提交规定746.2.5接口文献传播规定746.2.6一级与集团公司元数据接口文献和描述文献命名方式756.2.7一级元数据接口文献描述文献格式原则756.2.8一级元数据接口文献内容

5、格式原则766.2.9一级元数据库CORBA IDL接口776.3中央元数据库接口806.3.1概述806.3.2中央元数据接口管理范畴806.3.3中央元数据库与经营分析系统XMI接口内容与格式规定816.3.4中央元数据库CORBA IDL接口827经营分析系统元数据管理规定857.1元数据质量规定857.1.1概述857.1.2本地元数据质量规定857.1.3接口文献数据质量规定867.1.4传播过程元数据质量规定877.2元数据管理平台功能阐明877.2.1元数据获取887.2.2元数据检索和浏览897.2.3元数据分析917.2.4元数据维护937.2.5权限管理947.2.6版本控

6、制957.2.7中央元数据管理平台特殊规定967.3经营分析系统元数据管理系统应用举例977.3.1数据时效性探察977.3.2指标和报表元素血缘分析987.3.3元数据有关性分析991 总则1.1 概述为使中华人民共和国移动通信集团公司(如下简称中华人民共和国移动)适应日趋激烈市场竞争环境,有效并精确使用经营分析系统提供资源,从而对信息进行智能化加工解决,并最后为各级市场决策管理者提供及时、精确、科学辅助决策根据,指引中华人民共和国移动经营分析系统元数据管理系统发展,根据中华人民共和国移动经营分析系统技术规范和OMG组织CWM国际原则与有关原则,并参照中华人民共和国移动一级经营分析系统需求阐

7、明书、二级经营分析系统需求阐明书、特制定中华人民共和国移动经营分析系统元数据管理规范。本规范包括对集团公司经营分析系统元数据管理规定和各分公司经营分析系统元数据管理规定。本规范是中华人民共和国移动经营分析系统元数据管理和建设基本规定。各省、自治区、直辖市公司依照本技术规范,进行经营分析系统元数据建设。从技术理论上讲,经营分析系统元数据涉及到经营分析系统数据仓库、ETL、联机分析解决、数据挖掘、前端呈现等多方面内容,元数据贯穿经营分析系统始终。从技术实现上讲,元数据分布在仓库不同组件中,业务规则和技术元数据是分离,并且由不同系统以不同格式保存且顾客界面不同,不利于业务人员和技术人员对于元数据管理

8、和使用。而依照从数据仓库系统中获得数据做出智能决策和采用信息化行动时,分析人员和决策者需要懂得自己需要与经营分析系统中数据关系。因而集团公司制定了经营分析系统元数据规范,使得技术人员和业务人员可以统一地对经营分析系统中元数据进行管理和监督以及探查。本规范囊括了中华人民共和国移动通信公司经营分析系统中常用元数据,一方面描述了经营分析系统中元数据原则框架、各省元数据管理体系构造和省级元数据库与中央元数据库管理架构,明确了本规范工作范畴。另一方面定义了经营分析系统核心元数据涉及到范畴以及与CWM原则相应对象类,并规定存储根据原则,建立省级-中央,省级-本地,中央-本地等原则化接口和API接口,最后对

9、元数据质量和元数据管理平台进行规定和阐明。本规范包具关于元数据四个接口规范、一种存储规范(逻辑模型)以及基于元数据库几类基本应用等内容。各省、自治区、直辖市公司在实行经营分析系统过程中,可依照实际需要以本规范为基本进行扩充与细化,但务必保证核心元数据内容和接口不能变化。1.2 目的本规范目在于指引各省以及集团公司元数据建设,由于元数据贯穿经营分析系统始终,在经营分析系统中各个系统元数据比较分散,不利于各省公司以及集团公司管理,因而制定此规范用于指引约束各省公司元数据接口、存储、管理。详细而言,目的有如下几点:l 指引各省公司以及集团公司元数据库和管理平台建设,规定元数据基本内容 l 定义经营分

10、析系统元数据管理框架和流程l 约束各省公司元数据库接口以及集团公司元数据接口和存储模型l 对元数据管理平台提出基本功能和规定1.3 合用范畴本规范合用于集团公司元数据管理、一级经营分析系统元数据管理和中华人民共和国移动各省(直辖市、自治区)经营分析系统元数据管理系统1.4 包括附件内容随本规范附件有省级-本地IDL接口定义(省级-本地IDL接口.zip),中央-本地IDL接口定义(中央-本地IDL接口.zip),省级-本地XMI接口定义(省级-本地XMI接口.dtd),中央-本地XMI接口定义(中央-本地XMI接口.dtd),省级-中央接口定义(省级-中央接口.dtd),一级-中央接口定义(一

11、级-中央接口.dtd)。包括参照资料有CWM模型1.1原则(CWM原则.pdf),MOF 1.3原则(MOF原则.pdf),其她参照资料可以查看.org上有关涉及到内容。1.5 起草单位本规范由中华人民共和国移动通信集团公司负责起草。1.6 解释权本规范增补、修订及解释权属中华人民共和国移动通信集团公司。2 元数据管理规范总体阐明2.1 规范涉及元数据原则本规范是基于OMG组织元数据规范CWM 1.1而产生,在CWM原则之上依照中华人民共和国移动本地化需要,在某些细节上进行调节。阅读此规范时,必要参阅CWM模型1.1版本 ,该原则中有对于本规范规定各类详细定义,关联以及属性详细定义进行细致阐明

12、。CWM模型是OMG组织定义数据仓库和有关系统国际元数据原则,CWM原则目在于使得数据仓库和商业智能软件元数据在分布异构数据分析工具,数据仓库平台,元数据存储等系统之间交互。当前这个元数据原则得到了IBM、Unisys、NCR、Oracle、SAS等厂商支持 当前支持厂商有IBM、Unisys、NCR、Oracle、SAS、Hyperion、UBS、Genesis、Dimension EDI、Deere、Sun、HP、Data Access、InLine、Aonix、Hitachi、Meta Integration、Adaptive等。CWM模型涉及如下几种国际原则,在元数据管理规范中涉及到接

13、口、定义默认是遵循下列版本国际原则:l CWM 1.1l XMI 1.1l CORBA IDL(由MOF 1.3产生)l MOF 1.3l UML 2.0其中UML用来描述元数据模型自身和某些对象元数据,本规范中核心元数据有关类定义是借助UML语言进行表述。MOF用来定义元数据存储原则且提供一种良好CORBA IDL接口,是经营分析系统元数据存储原则。CORBA IDL是一种基于中间件思想接口定义语言,它可以支持java,C等流行编程语言以便、无二义性地访问经营分析系统元数据存储内容。XMI是XML形式元数据接口定义语言,它是经营分析系统元数据管理体系中元数据默认互换文献形式。CWM原则是本规

14、范制定重要参照原则,本规范参照上述国际原则都是环绕着CWM原则而采纳,CWM原则对于和数据仓库以及商业智能软件元数据提取,互换,存储,访问提供了一系列定义和规定。CWM原则涉及到元数据模型构造如图2-1。仓库过程仓库操作转换XML记录型多维关系型资源业务信息软件发布对象模型对象 OLAP分析数据挖掘信息可视化业务术语数据类型表达式键索引类型映射管理资源分析基本对象模型 图 2-1本规范基于CWM原则对象模型层和基本层之上对于经营分析系统中获取层、存储层和访问层中有关元数据描述和定义,CWM模型和经营分析系统元数据相应关系如表2-1,有关详细信息参见第三章中关于内容。经营分析系统中元数据CWM原

15、则模型包经营分析系统基本层元数据对象模型包,业务信息包,数据类型包,表达式包,键索引包,类型映射包,软件发布包经营分析系统获取层元数据ETL元数据包经营分析系统存储层元数据关系模型包,仓库过程包,仓库操作包经营分析系统访问层元数据OLAP模型包,数据挖掘模型包,信息可视化包经营分析系统可选元数据业务术语包,XML元数据包,记录包,多维包,对象数据库包2.2 元数据基本框架参见图2-2,集团核心元数据为全国各省、直辖市、自治区以及一级经营分析系统要统一元数据格式。此某些元数据是全国统一必要严格遵守。各省核心元数据为各省、直辖市、自治区元数据库,元数据管理必要遵守规范,这某些由移动各省公司统一规定

16、,集团公司不做规定。各异元数据为各省内某些特殊或暂时数据形成元数据,这某些元数据可以不进行统一规划。图2-2中,由内至外集团公司强制统一力度逐渐削弱。本规范规定范畴局限于集团核心元数据某些,各省在进行元数据库和元数据管理系统建设涉及到集团核心元数据时必要遵循本规范关于规定。各异元数据各省核心元数据集团核心元数据 图 2-22.3 省级(涉及一级经营分析系统)元数据管理架构省级(涉及一级经营分析系统,如下略)元数据管理是以各省元数据库为中心展开,在规范中定义了元数据库逻辑(对象)模型,其存储原则是按照OMG组织MOF 1.3原则。图2-3中,经营分析系统各子系统元数据通过转换工具或者API转换为

17、XMI文献或者调用元数据库CORBA IDL接口将元数据导入各省元数据库。同步,元数据管理工具也可以通过CORBA IDL或者XMI文献形式将省级元数据库中元数据内容返回到各系统中,对经营分析系统各子系统元数据进行调节。图中转换工具或者API指是经营分析系统子系统元数据不支持CWM模型状况下,需要进行双向转换,而支持CWM元数据原则子系统则不需要转换直接和元数据库接口交互。各省元数据库提供 CORBA IDL接口为我省元数据管理工具提供访问和管理接口,此接口与经营分析系统各子系统和元数据库交互CORBA IDL接口是相似,这是由CWM原则自身决定,这也使得元数据管理工具备能力直接访问某些支持C

18、WM原则经营分析系统子系统。各省元数据库与中央元数据库接口为转换后XMI文献,这里转换指是各省根据CWM原则导出XMI文献后,需将所有对象名称前加入我省标记。详细环节参见余后各章。对于各省元数据管理工具规范提出几种基本需求,各省依照我省状况,在满足基本需求之上进行扩充。ETL元数据数据仓库元数据数据集市OLAP SERVER.直接访问或转换工具、API等XMI 接口或CORBA IDL接口核心元数据元数据管理工具CORBA IDL转换后XMI文献中央元数据库 图 2-3 2.4 中央元数据库管理架构中央元数据库管理架构如图 2-4所示。中央元数据库内容涉及各省上报元数据以及一级经营分析系统元数

19、据。其中各省元数据和中央一级经营分析系统元数据是以XMI文献形式导入中央元数据库。或者通过调用省级元数据库CORBA IDL接口直接访问省级元数据库中内容。中央元数据库存储原则为MOF 1.3,中央元数据库为元数据管理工具提供CORBA IDL接口,在元数据管理平台上进行元数据管理。由于各省和一级经营分析系统导出XMI文献中对象是通过编号后存储在中央元数据库中,这样,可在管理工具平台中对于各省不同对象进行分类和解决。权限控制等等元数据互换版本控制元数据访问一级经营分析系统CORBA IDL接口中央元数据库中央XMI接口XMI元数据接口 管理工具平台省级元数据XMI文献省级元数据XMI文献.图

20、2-42.5 元数据管理系统拓扑图图 2-5 元数据管理系统拓扑图元数据管理系统由各省元数据管理系统和中央元数据管理系统构成,省级元数据管理系统和中央元数据管理系统通过网络专线进行连接(蓝色线条)。省级元数据管理系统由省级元数据抽取服务器、省级元数据管理平台、省级元数据存储服务器、省级元数据存储服务器构成。l 省级元数据抽取服务器重要功能是将符合CWM模型各经营分析子系统元数据(通过XMI文献获取或者通过CWM 兼容CORBA IDL读出)存入省级元数据存储服务器之中(绿色线条),如果有些系统不支持CWM模型则需要通过API或者其她手段获得其元数据并转换为CWM模型格式元数据存储到省级元数据存

21、储服务器内(红色线条)。有些元数据存储系统是自带元数据抽取功能,那么这某些服务器功能并入省级元数据存储服务器。l 省级元数据存储服务器重要是接受省级元数据抽取服务器提供元数据(接受提供XMI文献或者访问元数据存储服务器CORBA IDL),并把这些元数据按照本规范规定进行存储,省级元数据存储服务器必要提供符合CWM模型1.1原则XMI接口和CORBA IDL接口以便省级元数据管理平台和中央元数据抽取服务器进行访问。l 省级元数据管理平台提供对省级存储服务器中元数据进行访问,查询,分析等功能,它自身应支持服务器客户端架构,支持多人,分角色对经营分析系统元数据进行访问。中央元数据管理系统重要由中央

22、元数据抽取服务器,中央元数据存储服务器,中央元数据管理平台构成。l 中央元数据抽取服务器重要作用在于通过各省提交XMI文献或者直接通过CORBA IDL接口访问各省元数据存储服务器方式,采集各省经营分析系统元数据。中央元数据管理平台可以通过中央元数据抽取服务器对各省元数据存储服务器CORBA IDL接口进行直接访问。也可以中央元数据抽取服务器通过各省元数据存储服务器CORBA IDL接口将元数据抽取至中央元数据存储服务器内,或者抽取服务器将各省提交XMI文献存储至中央元数据存储服务器内,然后让中央元数据管理平台进行访问。l 中央元数据存储服务器重要是接受中央元数据抽取服务器提供元数据(接受XM

23、I文献或者接受访问元数据存储服务器CORBA IDL),并把这些元数据按照本规范规定进行存储,中央元数据存储服务器必要提供符合CWM模型1.1原则XMI接口和CORBA IDL接口以便中央元数据管理平台和中央元数据抽取服务器进行访问。l 中央元数据管理平台提供对中央元数据库中元数据进行查询,分析等功能,它自身应支持服务器客户端架构,支持多人,分角色对全国所有省份(涉及一级)经营分析系统元数据进行访问。同步提供即时访问功能,即直接通过中央元数据抽取服务器将CORBA IDL访问祈求映射到相应省份CORBA IDL访问祈求对各省元数据进行即时探查。3 经营分析系统核心元数据3.1 概述经营分析系统

24、核心元数据指是经营分析系统中重要系统涉及到元数据,涉及了经营分析系统基本层元数据,经营分析系统获取曾元数据,经营分析系统存储层元数据和经营分析系统数据访问层元数据。本章所涉及元数据严格遵循CWM模型1.1原则,涉及了CWM模型中两个底层某些七个包。她们分别是对象层中对象模型包,基本层中业务信息包、数据类型包、表达式包、键和索引包、类型映射包和软件发布包。下面依照经营分析系统需要,定义核心元数据涉及到范畴与原则,本章有关内容可以参照附件CWM原则.pdf CWM模型1.1原则关于内容。对于每一种元数据模块内部元数据范畴来讲,当前范畴规定在除暂时表,暂时变量以外所有元数据信息,有关元数据质量规定参

25、见第7章有关内容。3.2 经营分析系统基本层元数据 3.2.1 概述经营分析系统基本层元数据内容是涉及经营分析系统中所有其她元数据共享表达概念和构造元数据。它涉及对象模型和基本元数据两部份,对象模型描述为每一种元数据元素(对象)基本构造和相应类型属性,而基本元数据涉及了所有上层(数据获取层、数据存储层,数据访问层)其她元数据包共性元数据。本节有关内容可以参照附件CWM原则.pdf CWM模型1.1原则中第4章与第5章关于内容。3.2.2 对象模型元数据经营分析系统中对象模型元数据相应CWM模型中最底层对象模型包中内容。它描述了经营分析系统其她元数据中最基本元模型类构造,是所有经营分析系统元数据

26、模型基本。任何一种元数据模型都是从对象模型衍生出来。经营分析系统中对象模型元数据完全遵循CWM模型,其中内容可以参看CWM模型1.1原则中第四章 Object Model关于内容。这里提到对象模型是UML一种子集,仅涉及到与CWM模型有关内容。这某些使得经营分析系统元数据原则可以在遵循CWM模型基本上以UML原则进行表述。其重要内容分为四某些:Core Metamodel、Behavioral Metamodel、Relationships Metamodel、Instance Metamodel。其中Core Metamodel是所有其她几种模型基本,她们之间关系如图3-1所示: 图3-1l

27、 Core MetamodelCore Metamodel装载着其他经营分析系统元数据所用类和关联。它严格遵循CWM模型中对象模型里面Core Metamodel所有原则。其中所有类和关系如 图3-2、图3-3所示。其中类和关联详细定义与约束请参见附件 CWM原则.pdf CWM模型1.1原则中第4.3节关于内容。图 3-2 Core Metamodel 类关系图 参照附件CWM原则.pdf中 figure 4-2图 3-3 Core Metamodel 支持类关系图参照附件CWM原则.pdf中 figure 4-3l Behavioral MetamodelBehavioral Metamo

28、del描述了经营分析系统元数据中其她类和关联行为类型以及提供一种记录特定行为祈求基本。它严格遵循CWM模型中对象模型里面Behavioral Metamodel所有原则。其中所有类和关系如 图3-4所示。其中类和关联详细定义与约束请参见附件 CWM原则.pdf CWM模型1.1原则中第4.4节关于内容图 3-4 Behavioral 元模型主类图和类之间关系l Relationships Metamodel Relationships Metamodel收集了描述经营分析系统元数据存储中对象和对象之间关系所有类和关联。它严格遵循CWM模型中对象模型里面Relationships Metamod

29、el所有原则。CWM模型中Relationships Metamodel描述了两种关系:关联和继承。而CWM模型中继承关系支持多继承,因而CWM模型继承构造其实是一种由父节点到子节点有向无环图。Relationships Metamodel所有类和关系如 图3-5所示。其中类和关联详细定义与约束请参见附件 CWM原则.pdf CWM模型1.1原则中第4.5节关于内容。l Instance Metamodel在运用CWM原则正常互换元数据时候,有些状况随着元数据附加某些特定详细数据实例是非常有用。经营分析系统元数据对象模型中Instance Metamodel就是用来描述这些附带在元数据后详细数

30、据。Instance Metamodel严格遵循CWM模型中对象模型里Instance Metamodel所有原则,详细如 图3-6所示。其中类和关联详细定义与约束请参见附件 CWM原则.pdf CWM模型1.1原则中第4.6节关于内容。3.2.3 基本元数据3.2.3.1 概述基本元数据内容是涉及经营分析系统中所有其她元数据共享表达概念和构造元数据。普通来说,基本元数据包中元数据是上层(数据获取层、数据存储层,数据访问层)其她元数据包共性东西。对于上层某一种详细元数据包来讲,它所囊括基本元数据不一定是整个经营分析系统基本包中元数据,它只需要涉及自身包涉及到基本元数据即可。基本元数据内容和对象

31、模型元数据内容是不同,由于它是专为经营分析系统所设计元数据,而对象模型元数据从某个角度上来说是可以应用在诸多其她领域(数据仓库领域之外,例如系统布置领域等)。经营分析系统中基本元数据模型完全遵循CWM模型,其中内容可以参看CWM模型1.1原则中第五章 Foundation关于内容。为了控制复杂性,基本元数据内某些为六个包,她们是业务信息包、数据类型包、表达式包、主键和索引包、类型映射包、系统布置包,分别相应CWM 1.1原则中Foundation某些中BusinesssInformation包、DataTypes包、Expressions包、KeyIndexes包、TypeMapping包、S

32、oftwareDeployment包,它们之间关系如图 3-7:图 3-7 基本元数据构造图 (参照附件 CWM原则.pdf Figure 5-1) 经营分析系统基本元数据中,包与包之间关系是在不牺牲共有目状况下可以单独使用,例如,如果对于经营分析系统中自主开发某一种支持CWM原则数据仓库软件时,支持某种编程语言元数据也许用到数据类型包、表达式包、类型映射包和软件发布包,而键索引和业务信息包就不需要了。对于某一种详细系统(过程),也只涉及和自身系统与周边系统有关基本元数据,而不需要罗列所有基本元数据中浮现元数据。3.2.3.2 业务信息业务信息包给经营分析系统元数据元素提供了和业务部门(或项目

33、组)方面信息。这里说业务部门指是支持数据仓库和商业智能系统有关业务部门或项目组而不是所有移动通信公司业务部门。业务信息元数据涉及:l 业务部门名称l 联系办法(地址、e-mail、电话)l 有关离线文档标记l 关于描述信息业务部门之间关系可以通过类之间关联来表达。经营分析系统业务信息元数据支持部门层次关系,例如一种部和几种处之间从属关系可以通过关联关系来表达。7.1小节关于数据质量和一致性规定中对于经营分析系统元数据内容(元数据对象)规定必要具备确切描述这项元数据内容Description(每一种详细元数据业务描述或功能描述)用到本节元数据中描述一项,同步元数据涉及到系统负责人或者负责部门内容

34、运用本节关于ResponsibleParty内容。详细对于数据质量规定细节参见7.1小节。业务信息元数据严格遵循CWM模型中基本元数据里面BusinesssInformation所有原则。其中所有类和关系如 图3-8所示。其中类和关联详细定义与约束请参见附件 CWM原则.pdf CWM模型1.1原则中第5.3节关于内容。图3-8 业务信息主类图 (参照附件 CWM原则.pdf Figure 5-2)3.2.3.3 数据类型数据类型元模型提供经营分析系统中建立不同系统需要数据类型元数据模型定义。数据类型包严格遵循CWM模型1.1原则中基本模型里面DataTypes包所有原则。虽然数据类型包自身并

35、不给出任何一种详细数据类型定义(它仅是给出定义这些数据类型元数据模型),但是大某些惯用数据类型作为数据类型包详细实例在CWM模型1.1原则中已经给出,详细内容参见附件CWM原则.pdf CWM模型1.1原则中19章 数据类型所有内容。数据类型元模型所有类和关系如 图3-9所示。其中类和关联详细定义与约束请参见附件 CWM原则.pdf CWM模型1.1原则中第5.4节关于内容。 图3-9 数据类型主类图 (参照附件 CWM原则.pdf Figure 5-5)3.2.3.4 表达式表达式元模型提供了定义经营分析系统中所有表达式树基本支持。表达式包作用在于为其她所有经营分析系统元数据和管理工具提供一

36、种可以共享表达式格式,使得可以让这些表达式在不同系统中互换和跟踪。表达式元模型所有类和关系如 图3-10所示。表达式包严格遵循CWM模型1.1原则中基本模型里面Expressions包所有原则。其中类和关联详细定义与约束请参见附件 CWM原则.pdf CWM模型1.1原则中第5.5节关于内容。 图3-10 表达式模型主类图 (参照附件 CWM原则.pdf Figure 5-5)3.2.3.5 主键和索引键和索引包是为了以便访问所有经营分析系统数据实例而构造包。在基本模型中,咱们只给出了定义键和索引基本概念元数据模型,详细面向某些详细应用键构造会在面向详细应用包中给出。例如,关系模型键和索引构造

37、在这里没有给出完整定义,这是由于在基本包中所有元模型是上层系统所共享,关系模型键和索引只是一种常用键和索引构造,但是并不是所有系统(例如XML系统,面向对象系统)通用键和索引构造,因而详细关系模型键和索引将在关系模型包中给出。键和索引包模型包所有类和关系如 图3-11所示。本包所有内容严格遵循CWM模型1.1原则中基本模型里面KeysIndexes包所有原则。其中类和关联详细定义与约束请参见附件 CWM原则.pdf CWM模型1.1原则中第5.6节关于内容。 图3-11 键索引模型主类图 (参照附件 CWM原则.pdf Figure 5-9)3.2.3.6 系统布置系统布置包是为了记录经营分析

38、系统中系统和软件是如何应用。在基本模型中,不同系统也许会用到不同数据类型,系统之间类型映射将在3.3.3.7小节中讲述。系统布置包重要是为了管理和记录经营分析系统各个软件系统分布和连接状况,详细内容涉及:l 系统软件l 子系统类型l 布置组件和离散组件l 独立计算机l 站点(地点)l 数据管理者l 数据提供者等本节内容元数据需要经营分析系统负责部门进行手工录入,描述经营分析系统各个软件分布状况以及一种系统分布式构造等。系统布置包所有类和关系如 图3-12所示,关于系统布置中数据接口类和关联如 图3-13所示。系统布置包严格遵循CWM模型1.1原则中基本模型里面SoftwareDeploymen

39、t包所有原则。其中类和关联详细定义与约束请参见附件 CWM原则.pdf CWM模型1.1原则中第5.7节关于内容。 图3-12 系统布置主类图 (参照附件 CWM原则.pdf Figure 5-11) 图3-13 系统布置数据接口主类图 (参照附件 CWM原则.pdf Figure 5-12)3.2.3.7 类型映射类型映射包作用在于将不同系统之间数据类型一一映射起来。这些映射目在于使得不同系统之间可以兼容数据类型相应起来,从而使得这些系统之间数据可以进行互换。一对多映射容许出当前任何一种映射对之间,并且在一对多映射过程中必要拟定一种最适合类型作为首选。类型映射包所有类和关系如 图3-14所示

40、。类型映射包严格遵循CWM模型1.1原则中基本模型里面TypeMapping元模型所有原则。其中类和关联详细定义与约束请参见附件 CWM原则.pdf CWM模型1.1原则中第5.8节关于内容。 图3-14 类型映射主类图 (参照附件 CWM原则.pdf Figure 5-14)3.3 经营分析系统数据获取层元数据3.3.1 概述经营分析系统三层构造中数据获取层功能是将数据从数据源通过必要解决后加载到数据仓库系统中。这个过程重要涉及到ETL过程自身元数据。ETL数据源也许是生产系统中关系数据库,文本文献,XML文献,对象数据库或是经营分析系统中数据仓库,数据集市等。这些数据源通过ETL过程导入到

41、经营分析系统或在经营分析系统中各系统之间进行转换。本章元数据重要涉及到和ETL过程有关中元数据。其实ETL自身并不但仅出当前数据获取层,在数据存储层、数据呈现层只要在经营分析系统中浮现由一种数据转换到另一种数据地方就会浮现ETL过程,那么就会有ETL元数据。例如,在数据挖掘数据准备过程中也会浮现类似ETL过程,这某些元数据也必要遵循本章规定。ETL过程是经营分析系统中核心,因而这某些元数据必要保证精确,详细数据质量和一致性约束,参见第7.1小节。3.3.2 ETL元数据ETL过程出当前经营分析系统中三层构造中任何一处需要数据转换地方。这使得ETL元数据比较复杂,而其本质是一种转换过程。因而,按

42、照功能分,ETL元数据重要可以分为三某些:l 数据转换和数据关系l 数据分组和执行l 特殊转换关系普通来讲ETL过程可以分为两种,一种是黑箱操作,一种是白箱操作。前两某些所指内容重要是面向黑箱操作,而第三种重要是在前两种基本之上对白箱操作补充内容。ETL包中数据源或者数据目的需要和相应系统中元数据一一映射,这些系统元数据也许是关系模型包中或者OLAP,多维数据库或者是数据挖掘包中元数据,她们必要和ETL过程中元数据进行关联。而ETL包自身也是OLAP,数据挖掘,仓库过程和仓库操作元数据中内部包,在传递这些包中元数据内容中不可避免要传递相应ETL元数据包中关于信息。在经营分析系统中,对于ETL元

43、数据规定是和最后身成报表元素(涉及由经营分析系统给出集团公司报表,各省公司报表,各地市公司报表),以及由经营分析系统产生各分析指标有关所有ETL过程,必要按照白箱操作内容把所有转换源,转换公式,转换办法和转换目的详细定义和描述等论述清晰,相应数据源和数据目的元数据信息必要关联,其中元数据质量和一致性约束必要遵循7.1小节关于内容。和ETL有关元数据严格遵循CWM模型1.1原则中ETL元模型所有原则,有关定义和内容可以参照附件 CWM原则.pdf CWM 模型1.1原则第10章关于内容。下面依照功能三种不同分类进行简介。(一) 数据转换和数据关系数据转换和数据关系元数据指是和ETL有关数据源,目

44、的,约束,操作有关元数据。涉及l 转换过程表达式,以及描述l 数据对象集,以及描述l 数据转换环节和约束、依赖l 数据转换任务l 数据转换每一种动作及其时间等和转换原则有关元数据都储存在这某些当中涉及到详细类有:l Transformationl DataObjectSetl TransformationUsel TransformationSourcl TransformationTargetl DataObjectSetElemnt详细类之间关系参见图3-15和3-16。而每一种类详细定义,属性定义和约束可以参见附件 CWM原则.pdf CWM 模型1.1原则第10章内容。 图3-15 E

45、TL数据转换和数据关系主类图 (参照附件 CWM原则.pdf Figure 10-2) 图3-16 ETL数据转换和数据关系主类图2 (参照附件 CWM原则.pdf Figure 10-3)(二) 数据分组和执行 普通在ETL过程中,会把可以并行导入加载过程分在同一种逻辑单元,并行执行这些逻辑单元来提高导入效率。数据分组和执行某些中重要解决是转换分组状况来拟定逻辑单元并且解决执行先后顺序。这些元数据涉及内容有:l 转换加载筹划及其描述l 转换环节及其描述l 转换行为l 转换先前约束l 每一步先前约束等在数据分组和执行关于类有:l TransformationTaskl TransformationStepl TransformationActivityl PrecedenceConstratintl TransformationTaskElementl IverseTransformationTask

展开阅读全文
相似文档                                   自信AI助手自信AI助手
猜你喜欢                                   自信AI导航自信AI导航
搜索标签

当前位置:首页 > 教育专区 > 初中其他

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        获赠5币

©2010-2024 宁波自信网络信息技术有限公司  版权所有

客服电话:4008-655-100  投诉/维权电话:4009-655-100

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :gzh.png    weibo.png    LOFTER.png 

客服