企业数据仓库详细设计说明书-DSS详细设计分册.doc

XXXX企业数据仓库设计说明书-ETL详细设计分册

XXXX企业数据仓库概要设计说明书
DSS详细设计分册

（文档编码：OM-BIDW-C008）

（版本01.00.000）

未经许可，不得以任何形式抄袭
xxxx版权所有，翻板必究

OM数据仓库短彩技术部数据组
2009年3月

xxxx短彩技术部数据组

XXXX企业数据仓库详细设计说明书-DSS详细设计分册
文档变更历史

日期
版本
作者
修改内容
评审号
变更控制号
发布日期
2009-04-27
01.00.000
黄浩
建立初始版本

2009-04-27

1 概述
DSS（Dispatch Supervisor System）调度监控系统贯穿了整个数据仓库，是数据仓库数据处理的控制中心，是数据仓库中粒度建立的技术支撑，它控制着数据的流向，一切与数据处理有关的进程（存储过程）都将由DSS来调度启动。与其他业务型系统相比，前者的绝大部分的进程都是由系统用户手工触发（比如点击按钮），系统显式启动对应的预设进程；而在数据仓库中，尤其是数据处理过程中，绝大部分的进程（存储过程）都是由DSS隐式启动，不需要人工干预。
1.1 DSS功能模块
DSS系统主要包括调度模块和监控模块三大功能模块：调度、监控及用户权限管理

² 调度：调度模块主要是完成调度数据的配置及调度的具体实施
u 配置调度数据：录入调度所必须的配置数据，比如程序名、参数、依赖关系等，该功能模块通过WEB页面录入
u 调度实施：调度实施是整个系统的核心模块。它根据调度配置数据完成“生成程序参数” 、“判断程序执行条件”以及“执行程序”三个步骤的功能。
² 监控：监控模块主要是负责对系统调度过程及结果的监控
u 日常调度查询：包括查询程序的完成情况” 、“程序依赖数据” 、“程序执行的条件”等信息
u 监控例行报警：主要是将调度失败的程度显示出来，便于及时的处理失败的调度。
² 用户权限管理：因为调度监控系统关系到整个数据仓库的运作，因此在该模块中必须要加强权限的管理，一旦调度关系紊乱，整个系统可能会崩溃。用户权限主要是控制“调度配置数据”模块中的权限
1.2 系统约定与假设
1.2.1 调度对象
调度的对象是存储过程。因为调度实施是由ORACLE作业结合ORACLE存储过程来完成的，因此，我们将调度对象统一抽象为存储过程，即任何的执行动作都必须要封装在存储过程中。
1.2.2 事件
我们约定，每个存储过程每执行一次，就完成了一次事件。
1.2.3 周期
在DSS系统中，任何的调度都是周期性的，而不是任意的。即每个存储过程都是按照固有周期来执行，每个周期执行的参数值会随着周期数而变化。比如以天为周期的存储过程，每天都会被调度执行，每天执行的参数值会不同。目前DSS系统中的调度周期有：
² Day：天，以天为周期调度执行存储过程，每次执行的参数值为对应的周期值
² Mon：月，以月为周期调度执行存储过程，每次执行的参数值为对应的周期值
² Week：周，以周为周期调度执行存储过程，每次执行的参数值为对应的周期值
² Qrt：季度，以季度为周期调度执行存储过程，每次执行的参数值为对应的周期值
1.2.4 表与存储过程
我们约定DW中的所有表都有对应的存储过程，
² 命名上也必须要符合一定的规则：存储过程名=PRO_+表主体名。表主体名即完整的表名省略掉_yyyymmdd或_yyyymm等扩展字符串
² 一一对应。每个表有且仅有一个对应的存储过程，每个存储过程仅对应唯一一个表
² 对于通过加载数据的表，在调度配置数据中也必须要存在一条对应存储过程的记录
因此，在DSS中，表与存储过程在语义上是对等的。
1.2.5 存储过程参数
根据DW中数据存放的方式，存储过程存在两个参数：时间型参数和通道型参数
² 时间型参数。必选参数，任何存储过程必须要有时间型参数，按照存储过程执行周期的不同，参数可以是日期（YYYYMMDD）、月份（YYYYMM）、周（WEEK）、季度（QRT）等
² 通道型参数。可选参数，通道参数值是各个通道的拼音简写，而且必须是大写，比如运博移动是YBYD，由此类推
1.2.6 依赖
依赖是调度之所以存在的原因。
在数据仓库中，粒度是其中核心之一，设计粒度的一个原因是使数据统计更加高效化，也就是说当我们要获取某一个具体的统计指标的时候，我们其实并不是从最原始的数据开始的，我们往往是在某个中间粒度的物理表中统计的。这就构成了一个依赖，即要统计指标A，必须要依赖中间粒度物理表B；也就是说只有在表B的数据生成的时候，我们才能进行指标A的统计。因此依赖有如下要素：
² 依赖配置。即必须要配置调度对象（存储过程）的依赖对象。其实，当一个存储过程完成的时候，其依赖的对象也就随之明确了。
² 依赖完成。判断依赖对象是否完成，实际上就是判断存储过程指定参数（或参数集）是否完成。
1.2.7 依赖关系
1.2.7.1 时间依赖
　　　　DW系统中的周期有：日、周、月、季，各个周期间的依赖关系如下图所示：

　　从上图我们可以看出各个时间周期之间的依赖类型：
² 同周期依赖：即主存储过程与依赖存储过程的周期相同，比如都为日、月、周、季等。
² 不同周期依赖：不同周期依赖必须满足大周期依赖小周期且不能跨周期（比如周跨月，因此月不能依赖周），因此不同周期的依赖类型有：
u 月依赖于日：当主存储过程的周期为月，依赖存储过程的周期为日。此时，判断依赖程序是否完成的时候，需要依赖存储必须满足当月所有日（28\29\30\31）完成
u 季依赖于月：当主存储过程的周期为季，依赖存储过程的周期为月。此时，判断依赖程序是否完成的时候，需要依赖存储必须满足季度下的3个月全部完成
u 季依赖于日：当主存储过程的周期为季，依赖存储过程的周期为日。此时，判断依赖程序是否完成的时候，需要依赖存储必须满足季度下的3个月的所有日全部完成
u 周依赖于日：当主存储过程的周期为周，依赖存储过程的周期为日。此时，判断依赖程序是否完成的时候，需要依赖存储必须满足周下的7日全部完成
1.2.7.2 通道依赖
　　与时间依赖相比，通道依赖要简单些，只是通道间的对等依赖，不会存在其他类型的依赖

2 调度
2.1 整体流程

2.2 调度数据配置
2.2.1 数据录入
　　调度的对象是存储过程，调度的实质就是执行存储过程；因此调度数据配置实际上就是配置存储过程的信息，与调度有关的基本信息有：
² 存储过程名称：唯一标识调度对象，其命名满足PRO_+表主体名
² 存储过程执行周期：即存储过程执行的频次，目前DSS支持的周期有“天”、“周”、“月”、“季”
² 状态：标识存储过程的状态，0：表示存储过程处于失效状态，即不再调度该存储过程
² 参数：参数分必选（时间）参数和可选（通道）参数两种类型。时间参数格式为YYYY[MM|WEEK|QRT]{DD}，其中YYYY代表年份，MM代表月份，WEEK代表周（两位），QRT代表季度（两位），DD为可选项，代表天；时间参数的读取必须要结合“存储过程执行周期”，比如参数值为“200901”可以代表三种含义：2009年1月份、2009年第一季度及2009年第一周；而如果周期确定，参数值业就确定了，比如如果周期为周，则200901代表2009年第一周
² 依赖程序：该项是多选的，即一个主存储过程可以依赖多个存储过程，这些依赖存储过程是在编写主存储过程的时候就已经确定
² 依赖周期：存储过程的执行周期与依赖周期两者之间构成了时间依赖关系，具体的参见
调度配置数据关系到整个DSS系统的运作，因为DSS实施调度就是根据上面的配置数据项进行的，因此如果配置数据紊乱，则会导致整个DSS系统崩溃。
2.2.2 配置数据查询
数据查询需要提供对录入数据的全信息查询，包括录入的所有信息。
2.3 调度实施
2.3.1 功能描述
调度实施是DSS系统的核心，DW中的所有存储过程的运行都需要由DSS来调度，DSS实施的实质就是：在什么时间运行什么存储过程？而运行一个存储过程就需要要有参数值，因此调度实施模块大致可以分为三大子模块：
² 生成参数模块，主要完成存储过程执行参数的动态生成
² 依赖判断模块，主要判断主存储过程所依赖的存储过程在依赖周期下是否已经完成？
² 存储过程执行模块，主要是从执行队列里面读取执行命令，并执行存储过程
2.3.2 生成参数
2.3.2.1 概述
在DSS系统中，所有调度对象（存储过程）的参数都是动态生成的，即存储过程的执行参数值不是一致性生成的（静态），而是在执行前动态生成参数的，这样设计是基于以下考虑：
² 在DSS系统中，默认每个存储过程都至少存在时间周期参数，而且某些存储过程也会存在通道参数，时间周期参数可以根据执行周期一次性生成，但是通道参数会根据通道的实际情况而变化，因此为统一起见，所有的参数（时间周期参数和通道参数）都由系统动态生成
² 周期性是DSS系统的第一要素，即任何调度对象（存储过程）都是按照一定的周期来调度执行的。但是由于不可预计的原因，会导致某个周期值执行失败，这样就不能简单的用系统当前时间（或格式化）作为存储过程的执行参数。
2.3.2.2 生成参数流程

2.3.3 依赖判断
2.3.3.1 概述
在DW系统中，粒度设计为数据共享提供了数据支持，而依赖则为数据共享提供了技术支撑。
首先，DSS调度对象执行结果是将数据保存在对应的物理表中，既存储过程同一个参数值只要执行一次；如果其他存储过程需要调用该存储过程，其实是调用该存储过程对应表中的数据，而不是执行存储过程。
这样就会存在一个问题：DSS如何知道访问的物理表的数据是否已经生成了？比如执行存储过程B（参数为20090301）需要访表A中20090301的数据，此时，执行存储过程B（参数为20090301）的先决条件之一就是表A对应的存储过程A（参数为20090301）已经成功执行。
依赖判断模块的功能就是获取主存储过程所依赖的存储过程在依赖周期下是否已经成功完成。
2.3.3.2 主程序依赖判断

2.3.3.3 判断程序是否完成

2.3.4 执行存储过程
在经过了“生成参数”、“依赖判断”后，存储过程的执行命令串基本上已经形成。执行存储过程模块的内容就是从执行队列里面读取执行相关数据，拼凑成命令字符串，然后执行该命令字符串，并更新相关的状态。
在目前的DSS系统中，只有一个执行队列，在理想的情况下，执行是串行的。但是由于执行存储过程JOB是周期性扫描执行队列，这样就会存在一个job还没有执行完，另外一个job已经启动，这样就可能会造成进程堵塞、CPU超负荷的后果。

3 监控
调度系统关系到整个数据仓库系统的正常运作，因此必须要提供一套完备的监控系统对其进行实时的全方位的掌控，以便对异常调度做出及时的调整修正。
整个监控模块由WEB页面支撑，主要完成“日常调度查询”及“调度异常报警”两个功能。
3.1 日常调度查询
日常调度查询包括：
² 执行日志查询。
输入：
u 程序名（或编号），如果不输入，则显式全部日志数据
u 日期参数值，如果不输入日期参数，则显式近半年的日志
u 通道参数值，如果有通道参数，则输入通道参数
u 执行状态，下拉列表：成功、失败、成功后被覆盖
输出：程序编号、程序名、程序作者、日期参数、通道参数、执行开始时间、执行结束时间、执行状态
² 执行队列查询
输入：
u 程序名（或编号），如果不输入，则显式全部日志数据
u 日期参数值，如果不输入日期参数，则显式近半年的日志
u 通道参数值，如果有通道参数，则输入通道参数
u 执行状态，下拉列表：已执行、未执行、执行中
u 依赖状态，下拉列表：满足依赖，不满足依赖
输出：程序编号、程序名、程序作者、日期参数、通道参数、执行状态、依赖状态
² 执行进度查询
输入：
u 查询方式。下拉列表：程序名、程序编号
u 程序名（或编号），必填项，与“查询方式”结合
u 日期参数值，必填项
u 通道参数值，可选项
u 查询周期，下拉列表，默认值为程序的执行周期
输出：如果查询结果为“完成”，则显示一条记录，否则显示各个依赖存储过程的完成情况。
3.2 调度异常报警
² 失败异常报警
显示所有执行失败的日志
输入：
u 开始时间
u 结束时间
u 存储过程作者
u 失败原因
输出：程序编号、程序名称、程序作者、失败原因
² 时长异常报警
显示执行时间超过一定时长的日志
输入：
u 开始时间
u 结束时间
u 存储过程作者
u 执行时长
u 执行状态
输出：程序编号、程序名称、程序作者、执行开始时间、执行结束时间、执行状态

² 延时异常报警
显示延时而未执行的程序信息
输入：
u 延时时长，单位为天
输出：程序编号、程序名称、程序作者、依赖程序名称、程序周期

4 用户权限管理
4.1 概述

如上图所示，DSS系统用户用按权限分两类：管理员用户、普通用户。在权限管理上分四大权限模块：用户管理、数据查询、修改数据、录入数据
4.2 权限管理
4.2.1 用户管理
用户管理主要包括：
² 新增用户。添加新的普通用户
² 冻结用户。将正常用户置为“冻结”状态，即使用户不可用
² 删除用户。删除正使用的用户
² 更改用户。修改普通用户信息，包括密码重置等
² 分配权限。即将分配用户基本权限。

4.2.2 日常调度查询
² 配置数据查询
² 执行日志查询
² 执行队列查询
² 执行进度查询
4.2.3 调度异常报警
² 失败异常报警
² 时长异常报警
² 延时异常报警

4.2.4 修改数据
² 修改调度配置。即在原来的基础上修改调度配置，比如修改依赖关系、状态等。
² 补加调度事件。因为DSS是基于事件依赖的，每个动作都被抽象为单一事件，因此当手工执行某个存储过程的时候，我们需要相应的补加调度事件
4.2.5 录入数据
² 录入配置数据
4.3 管理员用户
管理员用户的权限有：
² 用户管理。
² 日常调度查询。
² 调度异常报警查询
² 修改数据
4.4 普通用户
普通用户权限：
² 录入数据
² 日常调度查询：只能查询自己录入的数据
² 调度异常报警查询：只能查询自己录入的存储过程发生的异常报警