BW建模培训.ppt

上海数聚软件系统股份有限公司SAP 商业信息仓库（BW）建模培训Agenda1.SAP BW数据仓库基本概念数据仓库基本概念2.SAP BW建模中使用的主要数据对象建模中使用的主要数据对象3.SAP BW建模的流程及方法建模的流程及方法4.SAP BW建模案例分析建模案例分析5.SAP BW建模中使用的其他数据对象建模中使用的其他数据对象6.SAP BW建模中性能优化的考虑建模中性能优化的考虑1.SAP BW数据仓库基本概念数据仓库基本概念2.SAP BW建模中使用的主要数据对象建模中使用的主要数据对象3.SAP BW建模的流程及方法建模的流程及方法4.SAP BW建模案例分析建模案例分析5.SAP BW建模中使用的其他数据对象建模中使用的其他数据对象6.SAP BW建模中性能优化的考虑建模中性能优化的考虑Agenda1.1 数据仓库产生 ERP系统主要应用于日常事务的操作性处理，重点在于完成事务处理，在短时间内给予用户响应，服务于操作型业务需求，可以称之为“操作型数据库”。随着业务应用不断拓展，以及市场竞争不断加剧，数据分析师和企业家们发现仅仅依靠联机事务处理系统 已经不足以获得市场竞争的优势，希望能够从庞大的日常业务数据以及历史归档数据中，分析发掘出潜在的、规律性的、更有价值的信息。用于对企业的业务运作以及市场的行业态势进行分析判断，从而做出正确的决策。这就推动了数据仓库的产生，即服务于分析型业务需求的系统，可以称之为“分析型数据库”。1.2 数据仓库的定义 数据仓库是面向主题的、集成的、相对稳定的、反映历史变化的数据集合。（1）面向主题面向主题：按业务主题的视角进行组织。（2）集成集成：数据从不同的源系统中抽取过来，经过清洗、加工，保持了一致性。（3）相对稳定相对稳定：一般情况下，数据仓库中的数据不会被更改或删除。（4）反映历史变化反映历史变化：存贮在数据仓库中的数据，均表示在某一时间点上所发生的事实，所以数据仓库的数据大部分都与时间相关，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。1.3 数据仓库的架构（1）操作数据存储 ODS（Operational Data Store）企业数据仓库 EDW（Enterprise Data Warehouse）数据集市 DM（Data Mart）1.3 数据仓库的架构（2）ODS：用来保留明细的操作数据，保留的时间较短，满足用户对操作型数据的及时甚至近实时的查询需求。EDW：用来长期保留企业统一的，按照主题组织的的明细数据，EDW保留的数据是经过清洗和集成的。DM是针对具体的前端报表/分析的需求而设计的数据模型。DM一般是汇总的数据，查询性能是DM在设计时要充分考虑的问题。1.3 数据仓库的架构（3）实例：ODS：增量的销售订单的抬头和明细（近三个月）EDW：所有的销售订单的抬头和明细 按日期、公司、客户汇总的销量DM：按年月、公司、客户汇总的销售1.3 数据仓库的架构（4）基于数据仓库的架构，一般数据仓库项目成员包括三组人：（1）建模人员：负责需求分析，ODS、EDW、DM 的设计（2）ETL人员（Extract,Transform,Load）：负责 数据的抽取、转换、装载，包括从数据源到 ODS、EDW，从ODS到EDW，从EDW到DM。（3）报表人员：负责报表的制作。1.4 BW数据仓库的三层架构PSA(Persistent Staging Area):持久数据加载区Agenda1.SAP BW数据仓库基本概念数据仓库基本概念2.SAP BW建模中使用的主要数据对象建模中使用的主要数据对象3.SAP BW建模的流程及方法建模的流程及方法4.SAP BW建模案例分析建模案例分析5.SAP BW建模中使用的其他数据对象建模中使用的其他数据对象6.SAP BW建模中性能优化的考虑建模中性能优化的考虑2.1 BW建模操作界面（1）T-Code RSA1进入建模界面2.1 BW建模操作界面（2）信息提供者 所有能为报表提供数据的数据对象被统称为信息提供者。信息提供者的分类：（1）有实际数据存储的：作为信息提供者使用的特性、信息立方体、数据存储对象。（2）无实际数据存储的:多信息提供者、信息集、虚拟信息提供者。2.1 BW建模操作界面（2）信息对象 特性（Characteristics）关键值（Key figures）信息源（InfoSources）数据源（DataSources）源系统（Source Systems）开放数据目标文件（Open Hub Destination）2.1 BW建模操作界面（3）一般先创建信息范围（功能类似于windows的文件夹），创建的信息范围在信息提供者和信息对象中是通用的。2.2 信息对象（InfoObject）（1）信息对象是BW对现实生活中业务评价对象的模拟，比如客户、销售额等，是数据模型建立的基础。分为：关键值（Key figures）：指业务评价中的数值部分，如金额、数量。特性（Characteristics）：对关键值进行分析的业务对象，如公司、产品、客户、时间等。显然，关键值只有和特性联系在一起的时候，才有具体的含义。2.2 信息对象（InfoObject）（2）信息对象的创建：（1）在建好的信息范围右键菜单里选择“创建信息对象目录”（选择信息对象类型，一般为特性和关键值分别创建一个目录）。2.2 信息对象（InfoObject）（3）（2）在相应的信息对象目录下创建信息对象。2.2.1 特性（Characteristics）（1）BW将特性分为四类：业务特性（Characteristic）单位（Unit）时间（Time characteristic）技术特性（Technical characteristic）需要我们创建和配置的是第一类。2.2.1 特性（Characteristics）（2）特性的配置：一般的输入基本的属性：描述、数据类型、长度等。2.2.1 特性（Characteristics）（3）特性的配置：主数据/文本确定是否包含属性和文本描述。只有当“有主数据”被选上以后，后面“属性”页才可用。2.2.1 特性（Characteristics）（4）特性的配置：层次结构确定是否包含层级。2.2.1 特性（Characteristics）（5）特性的配置：属性设定属性（显示属性、导航属性）。2.2.1 特性（Characteristics）（6）特性的配置：组合 设定信息对象是否需要与其他信息对象共同组成该信息对象的唯一标识。比如库位就需要和工厂组合起来，才能唯一的确定一个库存位置。2.2.1 特性（Characteristics）（7）特性的创建步骤：（1）在类型为特性的信息对象目录右键菜单里选”创建信息对象“2.2.1 特性（Characteristics）（8）（2）输入名称描述（3）然后完善各Tab页需要的内容（4）保存，激活。2.2.1 特性（Characteristics）（9）特性数据的管理：维护主数据、激活主数据、删除主数据。2.2.1 特性（Characteristics）（10）（1）维护主数据：可以直接对主数据进行维护，适合数据量小且长时间不大变化的的主数据。这样可以省略掉ETL。（2）激活主数据：主数据经过ETL的转换抽取到特性中后，还不能直接在报表上看到，需要激活主数据，才能在报表上查询到。（3）删除主数据：删除数据。2.2.2 关键值（Key figures）（1）关键值的配置：类型/单位定义关键值的类型。2.2.2 关键值（Key figures）（2）关键值的配置：聚集定义关键值进行汇总的方式。2.2.2 关键值（Key figures）（3）关键值的配置：附加财产定义是否用最大精确度计算关键值；定义关键值是否仅作为属性使用。2.2.3 BW 业务内容中的信息对象BW业务内容：是SAP公司预配置好的信息模型。包括信息对象、信息立方体、数据存储对象、报表等各类模板。因此我们可以利用已有的信息对象模板来建模：（1）直接只用已有的信息对象模版，比如产品（0customer)、工厂（0plant）、数量（0quantity)等。（2）以他们为模板新建信息对象。如下图所示：2.3 信息立方体（InfoCube）l面向报表的高效率的数据组织方式l两方面的信息n特性（Characteristics）n关键值（Key figures）l包含1 个事实表 和最多16 个维度表n3 个维度 是SAP BW必须的w时间w单位w数据包（系统自动维护）信息立方体是星形结构。2.3.1传统星形模型中间是事实表，周围是维度表2.3.2 BW星型模型（1）2.3.2 BW星型模型（2）2.3.2 BW星型模型（3）2.3.3 信息立方体的创建（1）（1）在信息范围右键菜单里选择“创建信息块”。2.3.3 信息立方体的创建（2）（2）在编辑信息块界面里填写信息块的技术名称和描述2.3.3 信息立方体的创建（3）（3）创建新的维度2.3.3 信息立方体的创建（4）（4）在创建的维度里输入信息对象（特性）。同时，一般的需求都会在时间和单位里输入需要的特性。2.3.3 信息立方体的创建（5）（5）在关键值中输入信息对象（关键值）。2.3.3 信息立方体的创建（6）特性和关键值也可以从左边的模版中选择已建好的对象，拖拽到右边来。最后记得保存和激活。2.4 数据存储对象（DataStore Object）数据存储对象是简单的关系型数据表结构，由关键字字段和数据字段组成。2.4 数据存储对象（DataStore Object）数据存储对象和信息立方体的比较：（1）数据存储对象是关系型数据表的结构，信息立方体是BW的星形结构。（2）数据存储对象中的记录可以进行增加、修改、删除的操作，因此能很方便的对源系统的数据进行清洗。而信息立方体的数据只能进行增加的操作。（3）数据存储对象一般用来保存明细的记录，信息立方体一般是汇总的数据。2.4 数据存储对象（DataStore Object）数据存储对象和信息立方体的比较：（4）信息立方体一般用在DM层，而数据存储对象一般用在ODS、EDW层。2.4 数据存储对象（DataStore Object）数据存储对象和信息立方体的使用实例：2.4 数据存储对象（DataStore Object）数据存储对象的分类：（1）标准的数据存储对象（2）写优化的数据存储对象（3）直接更新的数据存储对象常用的是前两种。2.4.1 标准的数据存储对象 由新数据、更改日志数据、有效数据三张数据表组成。到达数据存储对象的数据先进入新数据表，这时的数据是未激活的，在报表层面是查询不到的。然后经过激活的操作，新数据表的数据才写入有效数据表中，同时激活前后的变化写入了更改日志数据表中。这样的机制可以为后面的信息提供者在更新数据时提供增量机制。2.4.1 标准数据存储对象标准数据存储对象的设置：2.4.1 标准数据存储对象 （1）激活之后生成主数据标识：设定在激活数据存储对象时是否生成主数据的SID，选中后可以提高报表查询的性能，但在激活时需要多花费时间。因此，如果当前的数据存储对象不需要出报表，可以不选。（2）唯一数据记录：用于指定数据存储对象是否只能装载唯一键值的数据记录。选中这一选项，意味着如果已经存在关键字字段的组合记录，新的同样关键字字段组合的数据记录就不能装载到DSO对象中，此时会报系统错误。2.4.1 标准数据存储对象 （3）自动将质量状态设置为正确。这是指在数据装载到DSO中后，系统自动将数据的状态设置为正确（绿色）。一般情况下，我们都会选中这一选项。（4）自动激活数据存储对象数据。这一选项决定是否自动激活DSO中的数据。一般不选这一选项，而是ETL时放在处理链中用相应的激活动作进行处理。2.4.2 写优化的数据存储对象（1）写优化的数据存储对象只有一张数据表，即只有激活数据表。数据通过数据传输过程进入DSO后，就是激活的数据，在报表层次就是可见的。其他特点：（1）数据进入DSO时不产生主数据SID；（2）只有插入操作，没有更新操作。2.4.2 写优化的数据存储对象（2）写优化的数据存储对象的使用场景：通常在具有多层级结构的企业级信息仓库中用于数据的输入层，用于海量的明细数据的快速收集，例如POS机数据收集。写优化的数据存储对象的设置：不检查数据的唯一性：默认是选上的。如果不选，那么系统检查语义键的唯一性并为语义键组合生成唯一索引，如果后面装载的数据和已装载数据的语义键组合相同的话就报系统错。2.4.2 写优化的数据存储对象（3）2.4.3 数据存储对象的创建（1）示例：标准数据存储对象的创建。（1）在信息范围右键菜单里选择“创建数据存储对象”。2.4.3 数据存储对象的创建（2）（2）在编辑数据存储对象界面，输入技术名称和描述。2.4.3 数据存储对象的创建（3）（3）在关键字字段中输入信息对象（特性）。2.4.3 数据存储对象的创建（4）（4）在数据字段中输入信息对象（关键值）。2.4.3 数据存储对象的创建（5）（5）保存并激活。2.4.3 数据存储对象的创建（6）当然，新建DSO时可以复制现有的DSO，然后再加工修改，以提高效率。Agenda1.SAP BW数据仓库基本概念数据仓库基本概念2.SAP BW建模中使用的主要数据对象建模中使用的主要数据对象3.SAP BW建模的流程及方法建模的流程及方法4.SAP BW建模案例分析建模案例分析5.SAP BW建模中使用的其他数据对象建模中使用的其他数据对象6.SAP BW建模中性能优化的考虑建模中性能优化的考虑3.1 建模一般流程（1）3.1 建模一般流程（2）第一步：用户需求分析在数据仓库主题范围内进行用户需求的分析，也就是要有针对性。一般分为两部分内容：（1）获取需求 一般会采取面谈、问卷调查等方式。如果有样例报表的话，先仔细分析样例报表，再 进行访谈，会更有效率。3.1 建模一般流程（3）（2）将需求转化记录为特性和关键值的对应表。公司日期产品客户供应商进货数量库存数量销售数量3.1 建模一般流程（4）形成逻辑概念上的模型，可以以个人喜好的方式记录下来，比如用绘图工具、EXCEL等等。在设计逻辑模型时，一般需要对源系统的数据进行分析，如果发现存在源系统取不到的数据，需要及时和用户沟通确定合理的方案，比较常见的是让用户提供相应的文本数据源。第二步：形成逻辑模型3.1 建模一般流程（5）3.1 建模一般流程（6）第三步：将逻辑模型转化为BW的物理模型根据逻辑模型在BW中创建合适的特性、关键值、数据存储对象、信息立方体等。3.2 建模时要考虑的几个方面（1）（1）数据仓库的数据组织是面向主题的，而不是面向单个报表的。不要孤立的为每个报表需求去做一个DM，而是要对报表分类，理清多个报表间的内在逻辑联系，综合处面向主题的模型。3.2 建模时要考虑的几个方面（2）（2）数据仓库要实现对数据的集成和统一 数据仓库中的数据可能来自多个不同的数据源系统，要建模时要充分考虑数据的集成和统一，比如不同的源系统可能包含同一个产品的ID号，但它们并不是一个产品，这时在建模时就需要在产品前加上源系统ID，以使对不同来源的产品进行区分。3.2 建模时要考虑的几个方面（3）（3）一定要有维度的概念。把所有的业务对象转化为维度和事实（也就是BW中的特性和关键值），适当的时候，需要造出新的特性来，比如，源系统有计划销量和实际销量，在建模中可以新建一个销售类型的特性，和销量这个关键值进行组合。Agenda1.SAP BW数据仓库基本概念数据仓库基本概念2.SAP BW建模中使用的主要数据对象建模中使用的主要数据对象3.SAP BW建模的流程及方法建模的流程及方法4.SAP BW建模案例分析建模案例分析5.SAP BW建模中使用的其他数据对象建模中使用的其他数据对象6.SAP BW建模中性能优化的考虑建模中性能优化的考虑4.1 案例一 源系统的数据：交货明细用户需求：By 年月、公司、客户、物料组看发货量4.1.1 案例一：逻辑模型（1）ODS层：实现步骤：（1）在需求和数据源已经明确的情况下，依据数据仓库的三层架构，画出逻辑模型：4.1.1 案例一：逻辑模型（2）EDW层：4.1.1 案例一：逻辑模型（3）DM层：4.1.2 案例一：物理模型ODS层：使用数据存储对象EDW层：使用数据存储对象DM层：使用信息立方体（2）依据逻辑模型，在BW中建立物理模型：4.2 案例二（1）SAP源系统的数据：交货明细（实际值）用户需求：By 年月、公司、物料组看计划发货量、实际发货量4.2 案例二（2）文本文件的源数据：计划交货4.2.1 案例二:逻辑模型（1）ODS层：a：交货明细（实际值）实现步骤：（1）逻辑模型4.2.1 案例二:逻辑模型（2）b：计划交货4.2.1 案例二:逻辑模型（3）EDW层：4.2.1 案例二:逻辑模型（4）DM层：4.2.2 案例二：物理模型ODS层：使用数据存储对象EDW层：使用数据存储对象DM层：使用信息立方体（2）依据逻辑模型，在BW中建立物理模型：Agenda1.SAP BW数据仓库基本概念数据仓库基本概念2.SAP BW建模中使用的主要数据对象建模中使用的主要数据对象3.SAP BW建模的流程及方法建模的流程及方法4.SAP BW建模案例分析建模案例分析5.SAP BW建模中使用的其他数据对象建模中使用的其他数据对象6.SAP BW建模中性能优化的考虑建模中性能优化的考虑5.1 多信息提供者（MultiProvider）本身不存储数据，合并来自不同信息提供者的数据，实现的是UNION的功能。5.2 信息集（InfoSet）本身不存储数据，实现数据存储对象、信息立方体、带主数据的特性之间join。可以设定内部连接和左连接。5.3 虚拟信息提供（VirtualProvider）在BW中构建的一个逻辑视图，报表运行时直接通过虚拟信息提供者抽取源系统的数据，连PSA都绕过。Agenda1.SAP BW数据仓库基本概念数据仓库基本概念2.SAP BW建模中使用的主要数据对象建模中使用的主要数据对象3.SAP BW建模的流程及方法建模的流程及方法4.SAP BW建模案例分析建模案例分析5.SAP BW建模中使用的其他数据对象建模中使用的其他数据对象6.SAP BW建模中性能优化的考虑建模中性能优化的考虑6.1 使用行项目维、基数高度行项目维度：当确定信息立方体的某个维度只有一个特性的时候，可以使用。基数高度：当维中不重复数据量较大时可选。比如Customer中的数据量很大，占事实表百分之十几。在创建新维或编辑维度属性时可选。6.2 对信息立方体使用分区（1）分区是数据库底层的概念，就是将数据库表分成几个小的存储区域，分布到硬盘的不同地方甚至于不同硬盘，以提高数据读取速度。可以对信息立方体按月、会计区间分区。6.2 对信息立方体使用分区（2）创建的方式：（1）如果信息立方体中没有数据，在编辑信息立方体界面中，选择“附件”菜单下的“数据库性能”下的“划分”。6.2 对信息立方体使用分区（3）（2）如果信息立方体中有数据，在信息立方体的右键菜单中，选择“附件功能”下的“重新分区”。6.3 创建聚集对信息立方体中数据，按照一个子集进行数据汇总。当报表运行时，系统会自动根据报表查询的维度找到最合适的聚集事实表，从中读取数据。创建方式：在信息立方体的右键菜单中，选择“维护合计”。数数 的的 聚聚 合合“聚变聚变,可以改变世界可以改变世界”谢 谢！