数据集成管理.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,华能集团企业门户数据中心,华能集团企业门户数据中心,汇报内容,3.,数据中心,2.,ETL,数据抽取,1.,数据中心实施建议,3.BI,商业智能报表,4.Q&A,对数据仓库建设步骤的建议,由于数据仓库的建设是一个复杂的反复迭代的过程，不可能一蹴而就。而且就具体的分析主题来说也不是一次把所有的主题都建设完成，而是根据需要建设的主题的复杂程度、迫切程度、建设的成本和建成后的成效等多种因素综合考虑的结果。因此，在各数据中心建设的过程中，建议采用分主题的方式逐步的建设完善数据仓库。,建设过程中各步骤的迭代关系,在针对某一个或几个具体的主题进行数据仓库构建的过程中，大体需要进行需求分析，逻辑分析，,ODS,建模，数据仓库建模，数据源分析，数据的获取与整合，应用设计等几个大的步骤，通常情况下，是按照一个大致的方法逐步执行这几个大的步骤，但并不是一次就能够完成所有的工作，它是一个不断完善，反复迭代的过程。,确定调研目标,需求调研需要达到以下目标：,通过发放调研表格、召开座谈会和个别访谈等方式对数据中心需求进行调研，整理出明确、具体的需求，对需求范围进行界定，并经过确认，,让系统分析人员、系统建设者和各级领导对系统建设目标达成共识,；,对,现有应用系统和信息资源进行调研，确定数据来源,，分析数据生成的时间和频率，并对信息资源进行整理，全面分析和掌握现有信息资源的情况，并确定哪些类型的数据能对上述数据中心需求提供支持；,确定,哪些需求需要外部数据,（同行业甚至是其它行业的数据），这些数据如何获得，所需费用等；,通过实地考察和案例分析，对电力行业以及其它行业数据仓库建设的成功案例进行调研，进行相关经验的交流和学习，为系统建设提供支持和借鉴意义。,调研方式,当面访谈,访谈前先联系，预约好访谈时间和地点，确定参加访谈人员及负责人，提醒访谈对象做好准备工作。访谈时，与业务人员面对面地进行交流，双方就调研提纲中提出的内容和问题进行详细的调研和分析，包括现有的应用系统、拥有的数据资源等，并进行详细的记录。访谈结束后，对调研情况进行整理，并形成访谈记录，供调研结束后需求整理之用。,问卷调查,采用问卷调查的方式，对业务需求进行调研和分析，包括：有哪些应用系统，应用系统的功能和使用情况如何，分别生成哪些数据，生成时间和频率如何，生成的数据的用途，这些数据能对哪些需求提供支持等。,采用问卷调查方式没有访谈方式那样直接和有效，因此对问卷中提出的问题必须要认真设计，力求简单、明了，并与调研对象的业务紧密结合，让调研对象能准确把握调研内容并进行有针对性的回答。,在问卷调查表中，为尽量减少被调查人员的工作量，尽量采用封闭式问题，如选择题的形式，并适当配合一些开放式的问题，让愿意提供更深层次需求的人员有地方表述。,如在进行销售电量主题分析分析时，针对供电指标制定的需求调查表可采用如下的形式：,调研、确认表,项目,说明,分析主题,公司供电指标,分析指标,自治区范围各单位供电量、计划售电量、售电量、购电量,维度组成,时间、单位、类别,维度层次,【,时间,】,年,-,月；,【,供电单位,】,省公司,-,下级各地市,所需数据项,供电量,计划售电量,本月购电量,本月售电量,数据来源,源数据数量及质量,源数据更新频度,分析指标,本月供电量、去年同月供电量、本月同比增长率、本年累计供电量、去年同期累计供电量、本年累计同比增长率；,本年计划售电量、本月售电量、去年同月售电量、本月同比增长率、本年累计售电量、去年同期累计售电量、本年累计同比增长率、本年计划完成率,本月购电量、去年同月购电量、本月同比增长率、本年累计购电量、去年同期累计购电量、本年累计同比增长率,展现方式,柱图：按照单位、单位类别、时间的组合综合展示多个指标本期值；,柱图：按照单位、单位类别、时间的组合展示单个指标的排行情况；,仪表盘：显示当前计划完成情况,折线图：按照单位，时间段内，各项指标变化曲线,调研内容,对企业领导层,领导层目前的工作重点有哪些和此主题相关，和哪几个指标相关？,领导层最关心哪几个指标？,针对这些指标，领导层目前采用何种获取方式？,针对这些指标，领导层目前都进行哪些分析，采用何种分析手段，采用何种分析方法？,目前状况下，针对这些指标都有哪些展现方式？,领导层对数据仓库的期望是什么？,领导层希望决策分析系统能提供哪些分析功能？,领导层希望以何种方式来看这些指标？,领导层希望对这些指标进行哪些方面的比较？,对中间管理层,中间管理层通常需要上报哪些指标？和此分析主题相关的有哪些指标？,平时领导层通常询问哪些指标？在这些指标中哪几个和此分析主题有关？,中间管理层目前的工作重点有哪些和此主题相关，和哪几个指标相关？,中间管理层本身最关心哪几个指标？,中间管理层对下属的工作人员都考核哪些指标？哪几个指标与此分析主题有关？,针对这些指标，中间管理层目前采用何种获取方式？,针对这些指标，中间管理层目前都进行哪些分析，采用何种分析手段，采用何种分析方法？,目前状况下，针对这些指标都有哪些展现方式？,中间管理层对数据仓库的期望是什么？,中间管理层希望决策分析系统能提供哪些分析功能？,中间管理层希望以何种方式来看这些指标？,中间管理层希望对这些指标进行哪些方面的比较？,调研内容,对业务人员,平时工作中最关心的是哪些指标？有哪几个指标与此分析主题有关？,平时直属领导通常询问哪些指标？在这些指标中哪几个和此分析主题有关？,业务人员目前的工作重点有哪些和此主题相关，和哪几个指标相关？,业务人员对数据仓库的期望是什么？,业务人员希望系统能提供哪些分析功能？,业务人员希望以何种方式来看这些指标？,业务人员希望对这些指标进行哪些方面的比较？,对,IT,人员,此主题所需要的数据源都取自哪些业务系统？,与本主题有关的现有的业务系统的数据结构怎样？,与本主题有关的现有的业务系统的数据更新频率如何？,IT,人员对数据仓库的期望是什么？,IT,人员在平时的工作中最关心的哪些指标？,逻辑分析,逻辑分析过程是通过需求调研获取的资料和需求分析报告，仔细分析各信息资源，根据业务逻辑定义分析问题的角度、指标体系、关键指标以及这些指标分别由哪些数据提供支撑等，最终将上述内容在逻辑分析说明书详细描述。该步骤面向整个系统的分析需要有熟悉数据仓库及决策系统和各个业务系统的人员共同完成。,处理逻辑分析,处理逻辑分析采用自上而下和自下而上相结合的分析方法，首先对单项需求的处理逻辑进行分析确定处理流程，然后再对这些处理流程进行整合。,由于数据中心的建设是一个不断完善和迭代的过程，不可能一次把所有的分析主题都建设完成，因此，在进行每一个主题分析时，对其处理逻辑都不能进行孤立的分析，而应该考虑其与已经建成的和尚未建设但以后需要建设的各主题的关联。,例如在进行销售电量主题分析时，我们在分析销售电量的业务逻辑时，需要同时考虑为以后的线损电量分析做好准备。,ODS,逻辑模型,ODS,是基于某个主题的一组数据的集合，而不局限在某个应用系统，从业务关联的角度看数据，而不是基于传统的应用角度看数据。,ODS,设计与,DW,设计在着眼点上有所不同，,ODS,重点考虑业务系统数据是什么样子的，关系如何，在业务流程处理的哪个环节，以及数据抽取接口等问题。,ODS,物理模型,ODS,物理模型设计是对,ODS,数据的物理层进行设计，也就是对数据的存储方式进行设计的步骤，主要包括确定数据的存储结构，确定索引策略，确定数据存放位置，确定存储分配等。,确定,ODS,实现的物理模型，要求设计人员必须做到以下几方面：,要全面了解所选用的数据库管理系统，特别是存储结构和存取方法。,了解数据环境、数据的使用频度、使用方式、数据规模以及响应时间要求等，这些是对时间和空间效率进行平衡和优化的重要依据。,了解外部存储设备的特性，如分块原则，块大小的规定，设备的,I/O,特性等。,数据仓库建模,多维数据建模以直观的方式组织数据，并支持高性能的数据访问。每一个多维数据模型由多个多维数据模式表示，每一个多维数据模式都是由一个事实表和一组维表组成的。多维模型最常见的是星形模式。在星形模式中，事实表居中，多个维表呈辐射状分布于其四周，并与事实表连接。,星形模式,雪花模式,数据源分析,数据源分析是指对数据源中的原始数据进行分析，得出原始数据范围、格式、更新方式、更新频率、质量等各方面分析数据的分析过程。,数据源分析的过程分为范围分析、格式分析、更新分析、质量分析四个方面。,数据源分析,范围分析是分析综合数据的计算、统计方法，确定每一个综合数据需要哪些数据源中的哪些原始数据。即确定从哪些系统中获取哪些数据。,格式分析是分析原始数据在数据库中的物理存储格式。包括存储类型，存储长度，数据精度等指标。,更新分析是分析原始数据在应用系统中的更新方式、更新频率、更新内容。即原始数据何时进行更新，如何更新，更新哪些内容等。,质量分析是分析原始数据的质量。主要分析数据完整性、数据准确性、数据一致性。同时还要分析数据的物理存储格式和实际存储的数据是否一致。通常，质量分析是数据源分析中最重要、工作量最大的部分。,汇报内容,1.,数据中心,2.,ETL,数据抽取,3.BI,商业智能报表,6.Q&A,开始之前,ETL,综述,ETL,是数据抽取,(Extract),、转换,(Transform),、加载,(Load),的简写，它是指：将,OLTP,系统中的数据抽取出来，并将不同数据源的数据进行转换和整合，得出一致性的数据，然后加载到数据仓库中。,在这一转换过程中，我们就完成了对数据格式的更正、对数据字段的合并、以及新增指标的计算三项操作。类似地，我们也可以根据其他需求，完善数据仓库中的数据。,在数据仓库的构建中，,ETL,贯穿于项目始终，它是整个数据仓库的生命线，包括了数据清洗、整合、转换、加载等各个过程。如果说数据仓库是一座大厦，那么,ETL,就是大厦的根基。,ETL,抽取整合数据的好坏直接影响到最终的结果展现。所以,ETL,在整个数据仓库项目中起着十分关键的作用，必须摆到十分重要的位置。,简而言之，通过,ETL,，我们可以基于源系统中的数据来生成数据仓库。,ETL,为我们搭建了,OLTP,系统和,OLAP,系统之间的桥梁,ETL,开发方式比较,开发方式,比较方面,采用,ETL,工具,手工编码,灵活性,比较灵活,最灵活,难易程度,相对容易,要求一定技术水平,管理和维护,容易,较难,可移值性,好,差,性能和效率,较高,取决于编写者水平,开发周期,较短,较长,价格,较高,相对较低,数据抽取方法,数据抽取,方法包括,轮询、,触发器、,增量、,全表抽取等,其中轮询和触发器抽取方法适用于实时采集阶段，增量和全表抽取方法适用于非实时采集阶段。抽取方法可以根据需要进行灵活的配置，满足了抽取准确性、完整性的要求。,数据清洗,数据清洗,的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。,不完整的数据,错误的数据,重复的数据,数据转换,数据转换,的任务主要进行不一致的数据转换、数据粒度的转换，以及一些商务规则的计算。,(1),不一致数据转换：这个过程是一个整合的过程，将不同业务系统的相同类型的数据统一，比如同一个单位在营销系统的编码是,XX0001,而在调度编码是,YY0001,，这样在抽取过来之后统一转换成一个编码。,(2),数据粒度的转换：业务系统一般存储非常明细的数据，而数据仓库中数据是用来分析的，不需要非常明细的数据。一般情况下，会将业务系统数据按照数据仓库粒度进行聚合。,(3),商务规则的计算：不同的企业有不同的业务规则、不同的数据指标，这些指标有的时候不是简单的加加减减就能完成，这个时候需要在,ETL,中将这些数据指标计算好了之后存储在数据仓库中，以供分析使用。,SAGENT,实例,SAGENT,整体介绍,SAGENT,如何抽取,SAGENT,如何增量,SAGENT,如何调度,Sagent,Data Flow,体系结构,Data Sources,Operational,Data,External Data,Enterprise Data Warehouses,Data Marts,Operational Data Stores,XML,Flat File,Data Marts/Cubes,Sagents,Data Flow Server,Data Warehouse,Design Studio,Automation,Admin,Repository,基本视图,(,baseview,),和元视图,(,metaview,),Repository,Base Views,Meta Views,Oracle,Sybase,DB2,Sagent,Plan,IS,BV1,BV2,BV3,MV1,MV3,MV2,可编辑的联接,改名添加新计算项,M:M,多对多关系,Design Studio,Baseview,Metaview,Plans,Source RDBMS,表的子集,连接,数据库连接,语义层,表（,table),-,类,Categories,列（,Columns,）,-,商业术语,生成的字段,数据的抽取、清洗和转换计划,Logical Layer,Physical Layer,Plan Layer,设计工具,(Design Studio),数据源,BaseView,MetaView,Transform,Plan,Sagent Plan,由若干处理转换单元（,Transform,）构成,在,Sagent Design Studio,中设计,一个,ETL,流程的反映,ETL,功能示意图,实例操作,如何建,BaseView,如何建,MetaViw,如何开发一个,PLAN,如何做调度,如何增量,.,汇报内容,1.,数据中心,2.,ETL,数据抽取,3.BI,商业智能报表,4.Q&A,概述,体系结构,体系结构,Query&Report,实例操作,布局,字体大小,边框颜色,图形颜色,总之,按总体,UI,规范,(,美工设计,),来进行美化,.,实例操作,如何做列表,如何做交叉表,如何做图表,如何修改,SQL,如何生成静态,如何去掉页面交互,如何做选择框,如何钻取,如何用单项,如何实现上日,/,下日,如何调度,如何,汇报内容,1.,数据中心,2.,ETL,数据抽取,3.BI,商业智能报表,4.Q&A,Q&A,总结,谢谢大家,