数据稽核模块规划建议书V.docx

二期规划建议书 文档编号:编 制：审 核：批 准：日 期：目 录1.项目基本情况11.1.概述11.2.建设范围12.业务需求12.1.数据资料一致性稽核12.1.1.ESS系统资料稽核12.1.2.VSOP系统资料稽核22.1.3.协同通信系统资料稽核32.2.业务合规性稽核42.2.1.VSOP（增值业务订购关系管理平台）业务稽核42.3.稽核视图62.3.1.业务范围73.数据稽核功能需求73.1.首页展现73.1.1.集团用户首页展现73.1.2.省公司接口用户首页展现73.2.差异减少指标建设74.合规稽核功能需求84.1.数据采集84.1.1.文本文件接口84.1.2.数据库接口84.2.稽核流程84.2.1.稽核模块94.3.稽核点配置94.4.稽核流程运行监控94.5.稽核结果展现104.5.1.多稽核点总体合规性报表104.5.2.合规性汇总报表104.5.3.不合规数据明细查询114.5.4.数据导出114.6.系统管理124.6.1.用户权限管理124.6.2.组织机构管理124.6.3.用户管理124.6.4.权限管理124.7.日志管理144.7.1.应用日志154.7.2.操作日志164.8.稽核视图174.8.1.数据采集174.8.2.数据导入174.8.3.指标计算174.8.4.一级稽核视图184.8.5.二级稽核视图184.8.6.统计报表191. 项目基本情况1.1. 概述中国电信集团CRM监控系统数据稽核模块在一期项目中主要对爱音乐、G-C网关、天翼视讯、C网用户状态数据(爱音乐)四个业务进行了稽核工作，实现了数据稽核工作的规范化、流程化处理，并达到了降低数据差异、提高数据质量的目的。完成了一期需要实现的稽核要求。由于中国电信业务繁多，办理业务的流程复杂等原因。导致由人员操作方面、业务流程管理方面和系统支撑方面引起的数据和业务不合规的现象越来越多，因此有必要对各平台数据和业务的合规性进行稽核。减少因数据和业务不合规导致的收入流失和客户投诉问题。1.2. 建设范围通过对一期项目业务的实施过程中，选取关键稽核点中流失风险高、收入占比大、矛盾较为突出的重点内容进行建设。在数据稽核模块二期工程，选取以下内容进行实施： 1. 数据资料一致性稽核（新增比对的业务平台）；2. 业务合规性稽核；3. 稽核视图；2. 业务需求2.1. 数据资料一致性稽核2.1.1. ESS系统资料稽核中国电信实现了全国统一规范透明的电子化的销售服务管理系统，即电子化销售服务管理系统（ESS系统）。ESS系统全面实现了对3G业务销售功能的支撑，未来将逐步把2G业务、固网业务纳入整体的管理。2.1.1.1. 用户信息数据业务流转流程：用户数据从集团CRM枢纽ESS系统；省CRM系统ESS系统稽核规则：基于ESS枢纽和集团平台的用户数据，两系统的以用户标识为关键字，对用户状态以及其他属性进行稽核比对，稽核出两系统缺失和异常的数据。数据字段：序 号名 称说 明1用户标识2用户状态.其它字段待定2.1.2. VSOP系统资料稽核2.1.2.1. 用户信息数据业务流转流程：用户数据从省级CRMCRM枢纽集团平台稽核规则：基于CRM枢纽和集团平台的用户数据，两系统的以用户号码（MDN）为关键字，对用户状态以及其他属性进行稽核比对，稽核出两系统缺失和异常的数据。数据字段：序 号名 称说 明1用户号码唯一用户标识2用户状态3变更时间.其它字段待定2.1.2.2. 订购关系数据业务流转流程：各省级平台集团平台(实时同步)稽核规则：基于省级平台和集团平台的用户数据，两系统的以用户号码（MDN）为关键字，对产品类型、付费类型以及其他属性进行稽核比对，稽核出两系统缺失和异常的数据。数据字段：序 号名 称说 明1用户号码唯一用户标识2产品类型用户订购产品类型的标识3付费类型用户付费类型标识(预付费、后付费)4套餐标识订购增值产品是否以捆绑套餐方式订购的5生效时间6失效时间2.1.3. 协同通信系统资料稽核建设中国电信集团协同通信平台与各省公司CRM系统用户资料稽核2.1.3.1. 用户信息数据稽核规则：基于省CRM系统和集团平台的用户数据，两系统的以业务号码为关键字，对登录账号、所属企业、用户类型等，其他属性进行稽核比对，稽核出两系统缺失和异常的数据。数据字段：序 号名 称说 明1省分编码2业务号码2登录账号2用户状态2用户类型2所属企业ID.其它字段待定2.2. 业务合规性稽核2.2.1. VSOP（增值业务订购关系管理平台）业务稽核2.2.1.1. 订购关系数据业务流转流程：各省级平台集团平台(实时同步)源数据：集团平台侧C网增值业务的订购关系数据数据字段：序 号名 称说 明1用户号码唯一用户标识2产品类型用户订购产品类型的标识3付费类型用户付费类型标识(预付费、后付费)4套餐标识订购增值产品是否以捆绑套餐方式订购的5生效时间6失效时间稽核规则：1.订购关系数据中关键字段完整性(非空)稽核2. 订购关系数据中数据的逻辑合理性稽核(例如：生效时间失效时间)3. 订购关系数据中订购关系之间的互斥性稽核(例如：订购5元彩铃包月就不能订购10元彩铃包月，或订购了通讯助理业务就不能订购漏话提醒业务)4. 订购关系数据中订购关系之间的依赖性稽核(例如：如果要订购B产品需先订购A产品，i音乐下载的前提是要有彩铃)2.2.1.2. 用户信息数据业务流转流程：用户数据从省级CRMCRM枢纽集团平台源数据：集团平台侧C网增值业务的用户信息数据数据字段：序 号名 称说 明1用户号码唯一用户标识2用户状态3变更时间.其它字段待定稽核规则：1.用户信息数据的关键字段进行完整性(非空)稽核2.用户信息数据的关键字段进行逻辑合理性稽核(例如：身份证号码的长度、身份证号码的正确性)2.2.1.3. 销售品数据业务流转流程：销售品数据从省级PPMPPM平台集团平台源数据：集团平台侧全网增值销售品数据数据字段：序 号名 称说 明1销售品产品编码.其它字段待定稽核规则：1. 销售品数据的关键字段完整性(非空)稽核2. 销售品数据逻辑合理性稽核3. 销售品数据的产品编码规则的合规性稽核2.3. 稽核视图稽核视图，可用于：1）对省份公司的稽核成果进行统一的管控2）全面了解各省份公司数据稽核建设情况3）将一些先进省份的优秀经验进行全国推广4）对一些核心业务指标建立考核机制具体业务流程如下图所示：具体步骤如下：1）集团公司下发接口规范，确定需各省份公司提供的稽核结果的数据文件格式、内容、指标等2）各省份公司根据接口规范要求，定期将稽核成果上传到接口服务器3）电信集团稽核视图自动从接口服务器采集各省份的稽核数据并进行加工4）通过稽核视图对各省份的稽核结果进行统一展示、排名；以及建立相关的考核措施。2.3.1. 业务范围考虑电信集团数据稽核相关的规范以及各省份数据稽核建设的实际情况，本期可先将 CRM系统与核心网元及部分核心业务平台间的数据质量结果 进行定期上报，后续再扩展到其他稽核领域，如营收资金稽核、合规性稽核等；3. 数据稽核功能需求3.1. 首页展现3.1.1. 集团用户首页展现集团用户（包括系统使用部门、集团接口平台）依据其数据权限，首页展现相应稽核业务各省当前异分析报表，报表中添加告警功能，对于差异数量、新增差异数量进行图表展示。3.1.2. 省公司接口用户首页展现省公司用户（省公司稽核接口人）依据其数据权限，首页展现相应稽核业务，本省近5次差异变化趋势图标。3.2. 差异减少指标建设差异结果查询页面，增加差异减少指标统计及展示功能。差异减少 与差异新增相对，计算公式如下：差异新增= 本期差异 比 上期差异 独有增加差异减少= 本期差异 比 上期差异 遗漏减少4. 合规稽核功能需求4.1. 数据采集4.1.1. 文本文件接口数据可以通过对文本文件的采集导入本系统4.1.2. 数据库接口支持Oracle数据库。可通过简单配置支持不同表的数据导入本系统。4.2. 稽核流程稽核流程：将稽核工作分为合适的步骤，将各步骤按时间顺序组成任务链，并在指定的时间内顺序执行。1. 稽核流程可以分为任意个步骤。2. 流程启动时间可以灵活设置周期（年、月、日、时、分、秒），也可以随时手动启动，还可以设置某一时刻执行（仅执行一次）。3. 流程项可绑定三种流程模块：java的class文件、shell脚本、存储过程。4. 流程项执行顺序可以任意调整，流程项可以任意添加删除，并且支持多流程项之间并行执行。5. 可临时将流程中某步骤设为跳过、至此停止、等待手动执行。6. 流程项支持输入和输出参数配置，参数可以是常量也可以是上下文中的变量，参数支持字符串、数字、日期等类型。7. 稽核调度程序：负责调度部分或者所有稽核流程的运行，可以支持并行运行或串行运行。4.2.1. 稽核模块稽核流程中的步骤均为一个单独的稽核模块。稽核模块应有以下属性：状态、稽核程序类型（存储过程、java程序、脚本等）、稽核程序名称、稽核程序参数配置（参数名，参数值，参数类型）；参数类型至少支持数字，字符串，日期，常量、变量。预定义一部分变量，如：$REGION_ALL 表示全省，$ REGION_DETAIL全省按地市等等，帐期、当天；4.3. 稽核点配置稽核点对应每个稽核业务，每个稽核点应该对应一个稽核流程。1. 稽核点可分类展示（信息完整性、业务受理类、业务处理类、其他）；2. 稽核点页面配置项：稽核点编码、稽核点名称、稽核点描述、对应稽核流程。3. 由于稽核点对应业务，报表展现界面应可以按稽核点进行查询展现。4.4. 稽核流程运行监控1. 稽核流程支持可视化监控，包括：a) 流程的当前状态即是否在执行中；b) 当前流程执行到哪一项；c) 每个流程项的开始时间、结束时间、执行时间、执行结果；d) 支持按执行日期进行查询；e) 流程图形化展示；f) 应支持随时开始、中止、暂停等操作。2. 稽核步骤运行结果查询a) 查询条件：稽核步骤名、批次、执行结果状态；b) 查询内容包括：稽核步骤名、稽核程序名、起始时间、结束时间、运行结果等。4.5. 稽核结果展现4.5.1. 多稽核点总体合规性报表合规性汇总报表包括通用的合规、不合规数据的数量和占比的结果统计表。包括同比环比的分析类报表。4.5.2. 合规性汇总报表合规性汇总报表包括通用的合规、不合规数据的数量和占比的结果统计表。包括同比环比的分析类报表。举例说明。日期区域稽核模块.本期上期合规数不合规数总数不合规比不合规数不合规比同比增加汇总：稽核类型201101201102201103201107不合规总数不合规总数不合规总数不合规总数4.5.3. 不合规数据明细查询各种不合规数据均可按原始格式加上不合规判断说明字段进行查询。各种查询条件应说明。异常类型查询订单状态订单号稽核类型结束时间起始时间稽核时间订单时间订单号稽核结果4.5.4. 数据导出数据明细查询结果均可直接进行数据导出。数据导出支持文本文件格式。4.6. 系统管理4.6.1. 用户权限管理4.6.2. 组织机构管理l 支持对外部导入的组织机构信息进行管理。4.6.3. 用户管理用户是系统的使用者，通过赋予用户相关的角色，完成对用户的授权。系统根据用户权限的不同，提供相应的业务资源和功能菜单的展示，并根据用户的权限，对用户的操作进行鉴权。l 收入保障数据稽核系统管理用户权限，系统设置管理员用户，该用户可以变更、失效各种用户及设置用户权限。l 支持基于用户权限的数据访问、系统功能访问控制。l 支持用户业务操作的跟踪记录。4.6.4. 权限管理1. 功能权限： 系统能设置各级别用户的数据访问权限，权限控制到指标级。 系统应为管理员提供专用用户管理界面，进行增加用户、修改用户属性、删除用户的操作。其中的用户属性包括：用户编号、用户名、用户密码、用户姓名、用户岗位、用户所在部门等。管理员不能设置大于自身权限的权限。 系统支持权限分组管理，权限组（角色）是一个权限集合。操作员属于某一权限组，也就拥有相应组的权限。操作员可以属多个权限组。系统应为管理员提供专用权限组管理界面，进行增加权限组、修改权限组包含功能模块、删除权限组的操作，并用户添加到相应权限组中。权限组属性包括：权限组编号、权限组名称缩写、权限组名称、权限组描述等。 系统应支持分级授权管理、分级授权的权限管理机制。应能提供图形界面对员工进行应用系统权限的授予和回收。 系统应提供用户维护功能，用户代码应具有唯一性，只有具有相应权限的管理员才有权对用户代码修改。 系统应提供用户密码维护功能，只有用户本人或具有相应权限的管理员可以修改密码；系统应对员工代码密码设定进行管理，避免接受过于简单的用户密码。 系统应支持灵活的权限组合方式，对不同种类用户，系统管理员可进行权限的灵活组合，可把多种单独的功能模块权限相叠加，组成权限组合。2. 数据权限： 具有自身安全性控制，包括用户访问权限、数据安全控制、通信协议安全等，用户必须具有分权管理功能，不同用户可以具有不同的权限； 具有完整的操作权限管理功能和完善的系统安全机制，能够对每个操作人员的每次操作有详细的记录； 能为系统管理员提供多种发现系统故障的手段； 设定不同级别权限的操作系统用户，进行这些用户密码的严格管理； 设定不同级别权限的数据库用户，进行这些用户密码的严格管理； 对应用系统操作员的权限、角色进行管理，包括操作员的增、删、改、查等管理操作； 具有完备的操作权限管理功能，可实现不同用户对不同功能模块具有不同级别的操作权限。确保应用系统操作安全性； 对各类用户进行身份和密码验证； 应用程序连接操作系统以及数据库的用户，在所有应用程序中均不得写死用户名和密码，必须保证所有用户和密码均可动态配置，密码内容加密。3. 角色权限角色是系统资源和操作的载体，通过对角色的管理，实现系统权限的划分和定义。赋予每一个角色相应的功能权限和数据权限，功能权限是实现菜单操作权限和页面上的功能按钮操作权限，数据权限是对每一种数据（例如缴款单）的查询、增加、修改、删除权限。角色配置是按照营收四级稽核体系，对于每一级的稽核内容和功能进行划分，定义相关的功能权限和数据权限4.7. 日志管理日志管理的目的在于使维护人员能够了解系统出现的异常运行状态、以及系统用户对系统的使用情况，帮助操作人员确定异常原因和异常位置，以便及时纠正问题，保证设备和网络的正常运行。l 对系统所有操作进行记录，记录内容应包括用户、模块、时间等。对日志可进行删除、查看、导出、备份等操作。l 为保证数据的安全，必须采用操作日志的方法对用户及用户操作进行跟踪。日志分为以下几类： 操作员登录日志：记录所有操作员的登录和退出登录时间、操作员标识和登录终端信息等。对管理人员的任何操作均记入操作日志，日志中包含该操作员的工号、操作时间、操作内容等。操作日志可由具有权限的管理人员随时查询及统计。 操作维护日志：在系统维护的各个重要环节，如用户管理、权限管理、指标管理等处记录详细的处理日志。允许通过维护台对日志进行浏览、打印等处理。 出错日志：对所有的出错信息进行的告警和告警处理作日志，记录处理操作员的工号及处理日期等。l 不同级别的用户可根据设置的权限查看日志或进行日志的维护。如：按条件查询事件并形成报表，可设置日志记录的详细程度、日志警告类别、日志数据的大小、日志留存期限，还可删除或导出日志。l 对所有应用模块的使用进行日志记录，并可查询、统计、打印所有或单个操作日志内容。在操作中必须严格确认操作员的权限，确保操作员不能越级、越权获取资料；在查询、统计时，操作日志的各功能要素都可作为查询条件、分类条件、排序条件或统计要素，提供灵活方便的查询方式和途径。本系统日志管理模块基于Apache Log4j二次开发，实现进程级别统一日志管理。即一个进程对应一个独立的配置文件，并且该进程的系统日志、应用日志、用户操作日志统一由本日志模块实现；具备向文件、数据库写日志的能力。采用配置灵活，便于阅读的XML作为日志管理模块的配置方式。使用方便，与Apache 官方提供的commongs-logging的使用方法类似。系统日志功能4.7.1. 应用日志主要沿用Apache Log4j的功能，用于记录系统运行过程中产生的日志内容，存放于指定目录中的指定日志文件中（有XML配置文件指定）。便于系统管理、维护人员了解系统运行情况以及系统出现问题时查找问题原因。系统日志主要分一下五个等级，级别从上到下，逐级增高。日志级别描述DEBUG调试信息级别INFO信息提示级别WARN警告级别ERROR错误级别FATAL严重错误级别4.7.2. 操作日志在Apache Log4j基础之上扩展出应用日志记录接口，记录系统用户对系统用户有所变更的操作及系统用户的行为（登录、注销、浏览某个模块等），日志内容记录在数据库中，供日志查询模块在前端作查询统计展示。l 应用日志类记录号每条日志的流水号操作员具体操作员工号（包括设备接入号、后台应用进程号）操作对象具体操作的对象，如具体用户、具体某个参数等操作类型为方便日志管理而对操作进行的分类，各省可自行确定分类方法动作操作的具体行为，如增加、修改、删除等登录时间操作员登录时间详细内容记录日志的详细信息更改前信息对数据操作前的数据更改后信息对数据操作后的数据操作结果记录操作是否成功操作时间对操作对象进行操作的起始时间l 事件信息类事件信息类一般是衡量工作量、绩效考核相挂钩；记录系统运行状态、任务单的执行状态、人员操作记录、操作时间等；并且为日后统计分析，合理安排人力资源作基础。每条日志记录包括下表的信息：记录号每条日志的流水号EVENT_ID相应的事件标号描述主机、地市、业务类型的、时间等标识事件类型包括信息（I）、告警（W）、错误（E）、操作（O）记录时间日志写入的时间派单员一般为事件的第一发现人处理人员相关处理人员处理结果失败、成功、上报等，各省可自行定义备注信息有关事件发生的详细描述l 应用日志查询日志管理提供对用户操作日志和应用日志的查询、统计功能，确保能够全面审计用户对收入保障数据稽核系统的操作情况。可按照日志的级别（包括严重、主要、轻微、警告、信息），具体操作名称（登录、退出、应用程序启动、应用程序退出等），可按照日志生成日期、日志级别（包括严重，主要，轻微，警告，信息）、机器名、用户名、操作名称、应用程序名，在查询窗口中查看查询结果。同时，在日志接收窗口中可以实时看到日志的即时刷新结果。对系统参数的配置、告警的发生以及处理情况等，都必须有详细的记载。所有的信息是必须保存的，保存的时间长短视内容的重要程度、占用空间的大小、在决策支持中的地位等因素来确定。同时记录用户访问及相关的操作日志，便于进行分析及跟踪。4.8. 稽核视图4.8.1. 数据采集根据接口规范要求，定期从接口服务器采集各省份公司的稽核成果。建议采用分隔符的文件文件格式。4.8.2. 数据导入 支持将采集的数据导入数据库指定的表中； 导入过程支持对数据进行转换、抽取等操作。4.8.3. 指标计算根据各省份的稽核成果数据，设定相关的业务指标，衡量单个业务以及整体的数据质量情况。支持根据各省份的实际情况，灵活设置各指标的计算公式。整体指标由各业务指标通过加权方式进行计算所得。4.8.4. 一级稽核视图一级稽核视图，以直观的图形化的形式，反映各省份公司某一指标或整体指标的情况。如下图所示：支持根据不同的业务指标和整体指标，以不同颜色动态显示各省份的实际情况。通过点击相应的省份，进入二级稽核视图。4.8.5. 二级稽核视图二级稽核视图，用于展示某一省份分公司业务指标或整体指标的详细情况；如下图所示：4.8.6. 统计报表4.8.6.1. 排名报表排名报表，对某一业务指标或整体指标，根据各省份公司进行排名展示。如下图所示：4.8.6.2. 趋势报表趋势报表，反映某一省份，某一业务指标或整体指标在一段时间内的变化波动情况。如下图所示：