数据仓库的概念与体系结构.ppt

数据仓库的概念与体系结构1.数据仓库的产生联机事务处理系统（业务系统）刚上线时，查询不到数据是因为数据太少了，而几十年后查询不到有关数据是因为数据太多了。针对这一问题，人们设想专门为业务数据的统计分析建立一个数据中心，它的数据从联机事务处理系统中来、从异构的外部数据源来、或从脱机的历史业务数据中来这个数据中心也是一个联机系统，它专门为分析统计和决策支持应用服务，通过它可获取决策支持和联机分析应用所需要的一切数据。这个数据中心就叫做数据仓库。简单地说，数据仓库就是一个作为决策支持和联机分析应用系统数据源的结构化数据环境，数据仓库要研究和解决的问题就是从数据库中获取信息的问题。2.什么是数据仓库?数据仓库（Data WarehouseData Warehouse，简写为DWDW或DWHDWH）数据仓库的定义很多，但却很难有一种严格的定义数据仓库是一个数据库，它与公司的操作数据库分开维护。允许将各种应用系统集成在一起，为统一的历史数据分析提供坚实的平台，对信息处理提供支持数据仓库区别于其他数据存储系统“数据仓库是一个面向主题的、集成的、随时间而变化的、不容易丢失的数据集合，支持管理部门的决策过程.”W.H.Inmon3.数据仓库的概念教材上的定义数 据 仓 库 是 一 个 面 向 主 题 的（Subject Oriented）、集 成 的（Integrate）、相 对 稳 定 的（NonVolatile）、反映历史变化（Time Variant）的数据集合，通常用于辅助决策支持（DDS）4.数据仓库的发展以报表为主以分析为主 以预测模型为主 以营运导向为主 以实时数据仓库、自动决策应用为主 5.数据仓库的特点面向主题；数据集成；反映历史变化；相对稳定的。6.数据仓库关键特征一面向主题面向主题，是数据仓库显著区别于关系数据库系统的一个特征围绕一些主题，如顾客、供应商、产品等关注决策者的数据建模与分析，而不是集中于组织机构的日常操作和事务处理。排除对于决策无用的数据，提供特定主题的简明视图。7.数据仓库关键特征二数据集成一个数据仓库是通过集成多个异种数据源来构造的。关系数据库，一般文件，联机事务处理记录使用数据清理和数据集成技术。确保命名约定、编码结构、属性度量等的一致性。当数据被移到数据仓库时，它们要经过转化。8.数据仓库关键特征三随时间而变化数据仓库是从历史的角度提供信息数据仓库的时间范围比操作数据库系统要长的多。操作数据库系统:主要保存当前数据。数据仓库:从历史的角度提供信息（比如过去 5-10 年）数据仓库中的每一个关键结构都隐式或显式地包含时间元素，而操作数据库中的关键结构可能就不包括时间元素。9.数据仓库关键特征四数据不易丢失尽管数据仓库中的数据来自于操作数据库，但他们却是在物理上分离保存的。操作数据库的更新操作不会出现在数据仓库环境下不需要事务处理，恢复，和并发控制等机制只需要两种数据访问:数据的初始转载和数据访问（读操作）10.数据仓库与异种数据库集成 比较传统的异种数据库集成:（查询驱动）在多个异种数据库上建立包装程序（wrappers）和中介程序（mediators）查询驱动方法当从客户端传过来一个查询时，首先使用元数据字典将查询转换成相应异种数据库上的查询；然后，将这些查询映射和发送到局部查询处理器数据仓库:（更新驱动）将来自多个异种源的信息预先集成，并存储在数据仓库中，供直接查询和分析11.查询驱动方法和更新驱动方法的比较查询驱动的方法需要负责信息过滤和集成处理与局部数据源上的处理竞争资源对于频繁的查询，尤其是涉及聚集（汇总）操作的查询，开销很大（决策支持中常见的查询形式）更新驱动的方法（带来高性能）数据经预处理后单独存储，对聚集操作提供良好支持不影响局部数据源上的处理集成历史信息，支持负责的多维查询12.数据仓库的组成数据库数据抽取工具元数据访问工具数据集市数据仓库管理工具信息发布系统13.数据仓库数据库数据仓库系统中的数据库是整个数据仓库系统的核心，是数据信息存放的地方，对数据提供存取和检索支持。相对于传统数据库来说，它突出的特点是对海量数据的支持和快速的检索技术。14.数据抽取工具数据抽取工具把数据从各种各样的存储环境中提取出来，进行必要的转化、整理，再存放到数据仓库中。对各种不同的数据存储方式的访问能力是数据抽取工具的关键，数据转换通常包括：删除对决策分析没有意义的数据转换成统一的数据名称和定义计算统计和衍生数据填补缺失数据统一不同的数据定义方式15.元数据元数据是描述数据仓库内数据的结构和建立方法的数据。元数据（Metadata）是描述数据的数据。在关系数据库中，数据是存放在表中的，表结构的定义、关于结构的描述就是元数据。在数据仓库中，元数据就是定义数据仓库对象的数据。元数据分为：技术元数据业务元数据16.技术元数据技术元数据是系统的开发和管理人员使用的、描述数据的技术细节的元数据。主要包括：数据仓库结构的描述仓库模式、视图、维、层次结构、导出数据的定义，以及数据集市的位置和内容操作元数据包括数据血统(data lineage)、数据类别(currency of data)，以及监视信息汇总用的算法由操作环境到数据仓库的映射关于系统性能的数据索引，数据刷新、更新或复制事件的调度和定时17.数据仓库的组成业务元数据（商务元数据）从业务角度描述了系统中的数据，是介于使用者和真实系统之间的语义层，使得不懂计算机技术的业务人员也能够“理解”系统中的数据。业务元数据主要包括：用户的业务术语和它们表达的数据模型信息对象名称及其属性数据的来源信息和数据访问的规则信息。商务术语和定义、数据拥有者信息、收费政策等18.元数据的作用元数据与数据一起，构成了数据仓库中的数据模型，元数据所描述的更多的是这个模型的结构方面的信息。在数据仓库中，元数据的主要用途包括：用作目录，帮助决策支持系统分析者对数据仓库的内容定义作为数据仓库和操作性数据库之间进行数据转换时的映射标准帮助业务人员和技术人员更好地理解当前业务和系统数据提高系统的管理效率。便于系统集成和可重用19.访问工具访问工具访问工具是为用户访问数据仓库提供手段，如数据查询和报表、应用开发工具、数据挖掘工具和数据分析工具。20.数据集市数据集市(Data Mart)，也叫数据市场。数据集市是企业级数据仓库的一个子集，是为了特定的应用目的，从数据仓库中独立出来的一部分数据，也称为部门数据或主题数据。在分析、内容、表现，以及易用性方面迎合专业用户群体的特殊需求。在数据仓库的实施过程中，通常可以从一个部分的数据集市着手，再逐渐用几个数据集市组成一个完整的数据仓库（自底向上）。21.数据仓库的组成数据仓库管理数据仓库管理包括安全与权限管理、数据更新跟踪、数据质量检查、元数据的管理与更新、数据仓库使用状态的检测与审计、数据复制与删除、数据分割与分发、数据备份与恢复、数据存储管理等。信息发布系统信息发布系统是把数据仓库中的数据或其他相关的数据发送给不同的地点和用户。基于Web的信息发布系统是当前流行的多用户访问的最有效方法。22.数据仓库的体系结构23.典型的数据仓库系统结构从系统构建方面来说，一个典型的数据仓库系统通常划分成四个模块：数据源数据存储和管理（数据仓库服务器）OLAP服务器前端工具与应用24.数据仓库架构数据仓库提取清理转换装入刷新OLAP服务器查询报告分析数据挖掘监控、整合元数据存储数据源前端工具输出数据集市操作数据库其他外部信息源数据存储和管理OLAP服务器25.数据源数据源是数据仓库系统的基础，即系统的数据来源，通常包含企事业单位的各种内部信息和外部信息。内部信息，例如存于操作型数据库中的各种业务数据和办公自动化系统中包含的各类文档数据；外部数据，例如各类法律法规、市场信息、竞争对手的信息以及各类外部统计数据及其它有关文档等。26.数据的存储与管理数据的存储与管理是整个数据仓库系统的核心。存储在现有各业务系统的基础上，对数据进行抽取、清理、并有效集成，按照主题进行重新组织，最终确定数据仓库的物理存储结构，同时组织存储数据仓库的元数据（包括数据仓库的数据字典、记录系统定义、数据转换规则、数据加载频率以及业务规则等信息）。管理对数据仓库系统的管理也就是对其相应数据库系统的管理，通常包括数据的安全、归档、备份、恢复等维护工作。27.OLAP服务器OLAP（联机分析处理）是针对某个特定的主题进行联机数据访问、处理、分析，通过直观的方式，从多个维度、多种数据综合度进行分析，并将结果呈现给使用者。OLAP让使用者能够从多角度对信息进行快速、一致、交互地存取。28.前端工具与应用前端工具主要包括各种数据分析工具、报表工具、查询工具、数据挖掘工具（例如关联分析、分类、预测等）以及各种基于数据仓库或数据集市开发的应用。其中：数据分析工具主要针对OLAP服务器报表工具、数据挖掘工具既可以用于数据仓库，也可针对OLAP服务器29.OLTPOLTP和OLAPOLAP联机事务处理OLTP（on-line transaction processing）联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果.30.背景数据库系统作为数据管理手段，主要用于事务处理。在进行事务处理的同时，积累了大量的数据，传统决策支持系统一般就建立在这种事务处理环境上。数据库技术一直在尽量胜任事务处理、批处理到分析处理，虽然在事务处理应用方面取得了成功，但分析处理的支持随着数据的增长越来越无法胜任。结果就是将事务处理系统和分析处理系统分离，建立两个独立的系统。31.OLTP 与OLAP比较32.OLTPOLTP 也称为面向交易的处理系统，其基本特征是顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。这样做的最大优点是可以即时随地处理输入的数据，及时回答。也称为实时系统(Real time System)。衡量联机事务处理系统的一个重要性能指标是系统性能，具体体现为实时响应时间(Response Time)特点OLTP支持大量并发用户定期添加和修改数据反映随时变化的单位状态，但不保存其历史记录具有复杂的结构。33.OLTP系统 VS.OLAP系统比较(1)用户和系统的面向性面向顾客（事务）VS.面向市场（分析）数据内容当前的、详细的数据 VS.历史的、汇总的数据数据库设计实体联系模型(ER)和面向应用的数据库设计 VS.星型/雪花模型和面向主题的数据库设计34.OLTP系统 VS.OLAP系统比较(2)数据视图当前的、企业内部的数据 VS.经过演化的、集成的数据访问模式事务操作 VS.只读查询（但很多是复杂的查询）任务单位简短的事务 VS.复杂的查询访问数据量数十个 VS.数百万个35.OLTP系统 VS.OLAP系统比较(3)用户数数千个 VS.数百个数据库规模100M-数GB VS.100GB-数TB度量事务吞吐量 VS.查询吞吐量、响应时间36.OLAP与数据仓库的区别OLAP是大多数数据仓库系统用来呈现数据分析结果的方法之一。数据仓库最重要的特性是数据集成，目的是有效信息数据的呈现。OLAP服务却不是数据集成而设计，但它是一种强大的数据呈现方法。典型的OLAP服务常常源自一个或多个专门设计的数据集市。OLAP服务应该被看作数据仓库解决方案的一部分。37.OLAP 分类OLAP根据其存储数据的方式分为：ROLAP、MOLAP、HOLAP三类。ROLAPROLAP（关系OLAP）结构：使用关系或扩充关系DBMS存储并管理数据仓库，OLAP中间件支持其余部分。在接收用户的请求时，ROLAP服务器将多维查询转换成SQL查询，由数据仓库服务器对以关系形式存放的数据执行SQL查询，最终将数据返回给终端用户。MOLAPMOLAP（多维OLAP）结构：核心是其数据存储采用矩阵（可能是多维方阵）方式，数据检索高效HOLAPHOLAP（混合OLAP）结构：结合ROLAP和MOLAP技术，在MOLAP立方体中存储高级别的聚集，在ROLAP中存储低级别的聚集。38.数据仓库系统的体系结构数据仓库系统的体系结构根据应用需求的不同，可以分为四种类型：（1）两层架构（Generic Two-Level Architecture）。（2）独立型数据集市（Independent Data Mart）。（3）依赖型数据集市和操作型数据存储（Dependent Data Mart and Operational Data Store）。（4）逻辑型数据集市和实时数据仓库（Logical Data Mart and Real-Time Data Warehouse）。39.参考书：三种数据仓库模型从体系结构的角度去看，数据仓库模型可以有以下三种：企业仓库搜集关于跨越整个组织的主题的所有信息数据集市企业范围数据的一个子集，对于特定的客户是有用的。其范围限于选定的主题，比如一个商场的数据集市独立的数据集市 VS.非独立的数据集市（数据来自于企业数据仓库）虚拟仓库操作数据库上的一系列视图只有一些可能的汇总视图被物化40.独立的数据仓库系统（企业数据仓库）41.构造步骤1.数据从各种内部、外部的源系统文件或数据库中抽取，在一个大的组织中可能有几十或几百个这样的文件和数据库系统。2.不同源系统中的数据在加载到数据仓库之前需要转换和集成，当数据分段传输发现错误时，还要送回源系统进行校验纠错。3.建立数据仓库。数据仓库中将存储来自源系统的详细数据和各种综程度（粒度）的概括数据。4.用户通过SQL查询语言或其他分析工具访问数据仓库，其结果又会反馈到数据仓库和操作型数据库。42.ETL简介数据从源系统加载到数据库仓库之前，需要进行抽取E(Extract)、清洗C(cleaning)、转换T(transform)，最后加载L(load)，这就是ETL过程。抽取和加载通常是定期的，每天、每周、或者每月，根据数据仓库面向的主题而定。ETL过程是一个数据流动的过程，中间的“T”（转换）是关键43.基于独立数据集市的数据仓库系统特点：终端用户访问分离的数据集市增加了复杂性 每一个数据集市开发一个独立的 ETL接口，增加了难度和开销44.l基于依赖型数据集市和操作型数据存储(ODS)(ODS)的数据仓库45.l逻辑型数据集市和实时数据仓库系统46.从数据仓库到数据挖掘47.数据仓库的应用数据仓库的三种应用信息处理支持查询和基本的统计分析，并使用交叉表、表、图标和图进行报表处理分析处理对数据仓库中的数据进行多维数据分析支持基本的OLAP操作，切块、切片、上卷、下钻、转轴等数据挖掘从隐藏模式中发现知识支持关联分析，构建分析性模型，分类和预测，并用可视化工具呈现挖掘的结果48.从联机分析处理到联机分析挖掘为什么要联机分析挖掘数据仓库中有高质量的数据数据仓库中存放着整合的、一致的、清理过的数据围绕数据仓库的信息处理结构存取、集成、合并多个异种数据库的转换，ODBC/OLEDB连接,Web访问和访问工具等基于OLAP的探测式数据分析使用上卷、下钻、切片、转轴等技术进行数据挖掘数据挖掘功能的联机选择多种数据挖掘功能、算法和任务的整合49.联机分析挖掘的体系结构数据仓库元数据多维数据库OLAM引擎OLAP引擎用户图形界面 API数据方体 API数据库 API数据清理数据集成第三层OLAP/OLAM第二层多维数据库第一层数据存储第四层用户界面数据的过滤、集成过滤数据库基于约束的数据挖掘挖掘结果50.数据仓库的设计过程(1)自顶向下法、自底向上法或者两者的混合方法自顶向下法：由总体设计和规划开始在技术成熟、商业理解透彻的情况下使用自底向上法：以实验和原型开始常用在模型和技术开发的初期，可以有效的对使用的技术和模型进行评估，降低风险混合方法：上述两者的结合从软件过程的观点瀑布式方法：在进行下一步前，每一步都进行结构化和系统的分析螺旋式方法：功能渐增的系统的快速产生，相继版本之间间隔很短51.数据仓库的设计过程(2)典型的数据仓库设计过程选取待建模的商务过程找到所构建的数据仓库的主题，比如：销售、货运、订单等等选取商务过程的颗粒度数据起始于多细的颗粒度，比如：记录每条详细订单，或是开始于每日的汇总数据选取用于每个事实表记录的维常用的维有：时间、货物、客户、供应商等选取将安放在事实表中的度量常用的数字度量包括：售价、货物数量等52.数据仓库开发：困难与方法数据仓库开发上的困难自顶向下的开发方法从全系统的角度提供解决方案，使得（模块）集成的问题最小；但是该方法十分昂贵，需要对组织进行长期研究和建模分析。自底向上方法提供了更多的开发灵活性，价格便宜；但往往会遇到集成问题（每个模块单独运行都没有问题，但是一集成就出异常）解决方法：使用递增性、演化性的开发方法高层数据模型企业仓库和数据集市并行开发通过分布式模型集成各数据集市多层数据仓库53.