数据仓库-BI-商业智能-交流.ppt

单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,数据仓库交流,2012,年,09,月,15,日,数据仓库交流,目录,2,ETL,设计,系统模型,架构图 系统模型,3,各数据层简介 系统模型,4,各数据层简介：,数据源,一期包括：核心系统、收付费系统、保险卡系统。,ODS,层,原子层,汇总层,数据源 系统模型,5,数据源取数方案：,该方案的优势：,MIS,系统不与核心业务系统进行直接网络连接，对核心业务系统的运行,环境没有任何影响。从安全和性能角度，能够更好的保障核心业务系统。,数据源 系统模型,6,数据源更新：,业务系统升级会产生数据源的结构变化，包括表增加和表字段增加。,MIS,定期捕捉数据源结构的变化，进行设计上的调整。捕捉变化分为两个部,分进行：,一：业务系统结构发生变化。写存储过程，通过读取业务系统和,ODS,库,的数据字典，依次比对表、表字段（个数、名称）、表字段类型长度是否一,致。保存业务系统数据字典的变化记录。,二：业务系统,PDM,更新。派专人跟踪,PDM,版本更新，并比对,PDM,和业务系,统数据字典是否一致。比对方法：在,PDM,发生变化时，将,PDM,中的表导入到临,时数据库，比较临时数据库和业务系统库结构是否一致。,各数据层简介 系统模型,7,各数据层简介：,数据源,ODS,层,抽取并存储,MIS,系统所需的基本数据。,原子层,汇总层,ODS,层 系统模型,8,建设原则,1.,数据与数据源保持一致，不做数据的清洗和转换，以便于后续进行,数据质量监控；,2.,用最短的时间、对外围系统最小的性能消耗完成从外围系统获取数,据，降低外围系统的压力；,3.,尽量减少与外围系统的耦合性。,模型建设,1.,每张表加入抽取时间和增量结束日期字段，方便后续增量处理；,2.,各表主键和数据源主键一致，不建立外键。,使用规则,1.,作为数据质量探查和监控系统的数据源；,2.,作为原子层数据加工处理的数据源；,3.,作为少数业务数据清单查询需要的数据源。,各数据层简介 系统模型,9,各数据层简介：,数据源,ODS,层,原子层,清洗、转换、合并基本数据，为后续汇总提供支持。,汇总层,原子层 系统模型,10,建设原则,1.,从,ODS,层抽取数据；,2.,在,ETL,程序中完成数据的清洗和转换。,模型建设,1.,数据模型采用第三范式进行设计，尽量减少数据冗余。同一数据属,性或事实，在原子层保持只有一个位置存储；,2.,采用面向对象的模型建设方法进行建设，主要围绕承保、理赔、客,户、标的、产品等主题对象进行建立；,3.,保持对象属性、对象类型、对象子类属性、关系事实属性的完整，,以增加模型的稳定性,4.,原子层保存的数据粒度最细，不可再分。,使用规则,1.,汇总层主要数据源；报表和即席清单查询的次要数据源；,2.,不支持复杂条件的数据查询和统计。,原子层 实施模型,11,各数据层简介 系统模型,12,各数据层简介：,数据源,ODS,层,原子层,汇总层,汇总计算各指标，为前端页面显示提供支持。,汇总层 系统模型,13,建设原则,1.,从原子层抽取数据；,2.,在,ETL,程序中完成数据的聚合，形成指标数据，最后加载到汇总层数,据模型中；,3.,不从外围系统手工导入数据。,模型建设,包括保单统计日期级、保单子险统计日期级、批单统计日期级、批单,子险统计日期级、报案统计日期级、立案统计日期级、赔款计算书子险统计,日期级、工作流统计日期级、收付交易级共,9,级明细粒度的数据和聚合事实,信息。,使用规则,为指标级数据，采用维度建模方式，本层设计宗旨是以空间换时间，,保存细粒度数据和中级粒度数据。,汇总层 实施模型,14,数据加载策略 系统模型,15,数据加载策略：,1.,各层内部按依赖关系并发加载；,2.,各数据层之间独立执行，在上一层没有全部加载完成前，下一层,的数据加载不开始；,3.,每个存储过程都返回执行状态，上一层有失败的过程，下一层数,据加载不开始。,目录,16,ETL,设计,系统模型,ETL,设计,17,ETL,处理机制,1.,数据装载机制,2.,中间结果存放机制,3.,数据装载周期,ETL,处理规则,ETL,实施步骤,ETL,监控,ETL,处理机制,18,数据装载机制,数据装载一般分为三种，分别是全量装载、增量装载和全增量混合,装载。,1.,全量装载：,每次系统装载数据的时候，把源数据全部装进数据仓库，不作任何与,数据量有关的处理。一般在三种情况下采取这种方式装载数据，分别是数据,量不大、加工时间不作要求以及存储空间足够。这种装载方式的优点是处理,过程简单，不用考虑数据累计造成的处理复杂性，大大降低系统的开发和维,护成本，缺点是要求存储空间有时会很大，增加存储成本，并且处理时间往,往过长，不能够保证数据的实时性。,ETL,处理机制,19,数据装载机制,2.,增量装载,每次系统装载数据的时候，除了第一次数据初始化的时候是全量装载,之外，以后每次装载数据只是把数据变化了的部分装载进数据仓库，以节省,处理大量数据的时间和存放大量数据的空间。一般在三种情况下采取这种方,式装载数据，分别是数据量过大、数据处理实时性要求较高以及存储空间紧,张。这种数据装载方式的优点是大量节省数据存储空间，降低存储成本，经,过合理的规划能够保证数据处理的实时性，缺点是数据处理过于复杂，容易,出错，增加系统的开发和维护成本。,ETL,处理机制,20,数据装载机制,3.,全量增量混合装载就是一部分数据用全量装载方式装载，一部分,数据用增量装载方式装载。目的是综合利用两种方式的优点，避免二者的缺,点。但是往往效果不如人意。因为任何一种装载方式的好与坏都是相对的，,不能用绝对的观点去看问题。所以这种装载方式如果做的不好可能反而是保,留了两种装载方式的缺点，而舍弃了优点。当然这是大家不愿意看到的结果,，但是如果想要得到积极的效果，就要花大量的精力去设计,ETL,的存储策略,和处理流程，这就增加了系统的开发成本。,中银保险,MIS,系统，由于数据量比较大，总体原则采用增量加载的原则,。同时有些表数据量非常小，为了减少逻辑的复杂性和,ETL,开发量，因此这,部分表采用全量加载方式处理。,ETL,处理机制,21,中间结果存放机制,ETL,加工过程中产生的临时数据结果集的存放。,数据表存放方式有两种，其一是通过数据库表的形式保存，就是把数,据直接存放到数据库表中。然后通过数据库提供的,SQL,语句或嵌入式,SQL,程序,来完成数据的转换、加工过程，最终可以直接装载到业务追踪分析系统的数,据库表群中。另一种形式是通过文件的形式保存。,由于本系统使用存储过程，中间结果大部分需要进行数据关联再处理,操作，由于数据库本身对表的关联效率要比,ETL,通过文件关联的效率要高，,因此本系统采用数据库表的存储方式。,ETL,处理机制,22,数据装载周期,数据装载周期就是数据多长时间需要重新装载，何时重新进行,ETL,处理,。一般分为日、周、月、季、半年、年及准实时,按小时或分钟,。,采取哪种数据装载周期主要与系统的最终使用目的息息相关。,第一类：数据仓库系统主要是用来进行数据展示的，要求数据的实时,性比较高，那么一般至少数据装载周期为每周一次，实际情况是一般都是每,天一次数据装载。,第二类：数据仓库系统主要是用来进行数据挖掘的，要求数据的实时,性非常低，那么一般采用的数据装载周期为月、季、半年，有的甚至是一年,进行一次数据装载。,ETL,处理机制,23,数据装载周期,第三类：数据仓库系统用来进行准实时的查询，要求数据的实时性非,常高，那么一般以小时为单位做为数据装载的周期，具体要根据各种约束条,件以及用户的强制性需求决定。这种准实时的数据装载对资源的要求是非常,高的。,中银保险,MIS,系统，由于主要用来数据展示即时查询，同时大部分报表,需要按天进行展现，因此数据装载周期采用按天加载。,ETL,设计,24,ETL,处理机制,ETL,处理规则,程序开发规则,数据质量规则,任务调度规则,ETL,实施步骤,ETL,监控,ETL,处理规则,25,程序开发规则,1.,保证程序的原子性，也就是说每个程序都要可以重复执行；,2.,保证,Log,信息的清晰性，可通过页面监控；,3.,保证正确性的同时尽量考虑程序的执行效率；,4.,保证尽量使用数据库本身的优点。,ETL,处理规则,26,数据质量规则,1.,清洗后文本数据尽量不包含非法字符，例如空格、*等；,2.,保证数据字典项的编码统一；,3.,进行必要的空值替换；,4.,根据业务要求转换数据；,5.,减少,ETL,过程中的人工干预，尽量保证数据自动装入系统；,6.,能够对不符合数据质量规则的数据进行追踪。,ETL,处理规则,27,任务调度规则,1.,保证,ETL,调度逻辑清晰，在效率允许的前提下，尽量将从源系统到数,据缓冲区层数据抽取、数据缓冲区层到基础层数据清洗与转换、基础层到集,市层的数据汇总、及应用数据文件形成的各个部分在调度上完全依赖。这样,可以降低调度的复杂性便于系统的维护；,2.,最小可执行单元，尽量保证所处理的数据逻辑的独立性，即当发生,错误时，可以单独进行处理；,ETL,处理规则,28,任务调度规则,3.,加工同一张表的数据的任务尽可能串行，不并行；,4.,父任务和子任务的关系一定要合理，确定它们存在互相依赖关系；,5.,任务执行线路的划分要合理，不要出现执行瓶颈，也就是说尽可能,保证系统资源的合理利用。,ETL,设计,29,ETL,处理机制,ETL,处理规则,ETL,实施步骤,1.,数据质量探查及处理,2.,数据映射,3.,确定变更历史的保存,4.,确定数据抽取时机,5.,程序设计与开发,6.,程序测试,ETL,监控,ETL,实施步骤,30,数据质量探查及处理,主要是完成从基础数据层表群到,DW,层表群的映射过程和数据质量探查,过程，并整理出具体的保证数据质量的处理方法。,在做从源数据到目标数据的映射过程中，那些转换比较复杂或者需要,组合起来才能生成目标数据的数据，必须经过一些中间过程才能进入基础层,数据表中。,根据数据模型及需求确定每个源系统中表及字段的数据质量等级要求,，可以将数据质量等级要求分为三级：非常重要、一般重要、可忽略。,ETL,实施步骤,31,数据质量探查及处理,“,非常重要,”,是指，对此字段的数据质量要求极高。比如：保费、渠,道等。由于对次两个内容数据的分析有很高的严谨性要求，所以必需保证他,们的数据质量。在数据质量调查中要如果发现存在数据质量问题必需纪录并,提出相应的解决方案。以便将解决方案反映到以后的,Mapping,处理过程中，,解决数据质量的问题。,“,一般重要,”,是指，对数据分析的结果的严谨性要求一般，同时数据,又不存在特别大的偏差。可以在以后的,Mapping,中进行简单的处理。比如可,以处理为未知或其它。保证数据的完整性但不保证数据的全部准确。,ETL,实施步骤,32,数据质量探查及处理,“,可忽略,”,是指，对数据分析或查询结果没有要求或不能进行处理的,。比如：被保险人姓名，只用来显示。而且无法辨别是否正确。,在开发测试过程中，如果出现被拒绝的记录，要把它们记录下来，放,入结构与目标表相同的表结构中。然后确认它们是因为数据不合理还是映射,规则不合理而产生的。如果是由于映射规则不合理，那么修改映射规则使其,合理化。如果是数据不合理，那么就要根据实际情况做相应的处理，要么干,脆把它们剔除掉，要么改善源数据质量然后重新映射等。,ETL,实施步骤,33,数据映射,主要完成从基础数据层到,DM,层的数据映射过程，以及必要的数据转换,和数据整合处理方法的制定，为后续,ETL,开发提供开发指引。,ETL,实施步骤,34,确定变更历史的保存,由于对于数据中的缓慢变化维的处理方式的不同以及是否要求保存数,据的变更历史的要求，会影响到数据的处理方式。因此必须在程序设计与开,发前确定哪些数据需要保存变更历史。哪些数据需要保留最新的数据。,ETL,实施步骤,35,确定数据抽取时机,对时机的考虑主要有两方面：,1.,效率的影响：数据抽取要避开业务系统的繁忙时间进行数据抽取。,2.,数据正确性的影响：有些时候，必须在某个时间段进行数据抽取，,才能保证数据尽可能的正确。比如：银行一般在晚上的某段时间会停止业务,操作。在这段时间内他要进行账务等处理。所以，只有在这段时间抽取数据,，当天余额才尽可能的正确。,由于本系统是采用增量时间戳进行增量抽取，依赖于备份库的生成，,所以抽取时机是从第二天早晨,2,点左右开始抽取。,ETL,实施步骤,36,程序设计与开发,1.,框架程序设计与开发,2.ETL,任务划分与调度关系的设定,3.,映射程序模板与例子的设计和开发,4.,映射程序设计与开发,ETL,实施步骤,37,程序设计与开发,-1.,框架程序设计与开发,所谓的,ETL,框架部分，是指那些与具体加工任务无关，而每个加工任务,想要启动又必须完成的那些工作。,主要包括：日志处理、公共参数获取、系统资源获取、数据库资源,获取等。,ETL,实施步骤,38,程序设计与开发,-,2.ETL,任务划分与调度关系的设定,所谓的,ETL,控制部分，是指,ETL,任务的调度工作。,主要包括：任务何时启动、任务执行顺序、任务执行情况监控等。,任务调度顺序一般用多根节点树来描述，也就是说任务之间存在兄弟,关系、父子关系、同层关系、同代关系、祖先关系以及后代关系等。,ETL,实施步骤,39,程序设计与开发,-,3.,映射程序模板与例子的设计和开发,编写具体映射程序的模板以及相应的例子，以便,Coding,人员可以很快,上手进行,ETL,映射程序的开发。,ETL,实施步骤,40,程序设计与开发,-,4.,映射程序设计与开发,具体的映射程序的设计与编写工作，由,Coding,人员根据,ETL Mapping,文档,与,开发程序实例模板,进行编写。,映射程序的编写过程应该与它们的调度顺序一致，也就是说先编写那,些优先启动的任务程序代码。而且每一个映射程序的目的是生成目标数据，,那么首先就要删除当日已加工数据，以保证该程序在失败的时候可以重新再,调用一次。,ETL,实施步骤,41,程序测试,1.,单元测试,每个映射程序编写完毕，就要进行对它们的测试工作。前面已经说过,，由于编写过程是按照任务调度顺序进行的，所以写完一个马上就可以对其,功能的正确性进行测试。,2.,集成测试,在,ETL,框架程序、,ETL,控制程序以及所有的映射程序全部编写完成以后,可以把它们集成到一起进行综合测试。也就是说，把完整,ETL,过程跑一遍以,便发现单元测试无法发现的问题，加以改正。,ETL,设计,42,ETL,处理机制,ETL,处理规则,ETL,实施步骤,ETL,监控,ETL,运行监控,数据质量监控,ETL,监控,43,ETL,运行监控,各数据层在运行中必须记录其运行日志，以方便的根据日志信息监控,运行情况。,数据质量监控,通过数据质量监控工具，把各数据层的指标计算,sql,导入到工具中,通,过每天的定时运行就可以方便的查看各数据层的数据情况，从而使系统的数,据质量达到可控的程度。,44,谢谢,