数据质量平台V..产品规划.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,数据质量管理平台,V2.0.0,产品规划,（版本,V0.8,）,2010,年,08,月,目录,核心概念分析,产品目标,产品定位,业务架构,数据架构,应用架构,集成架构,演进思路,工作量估算,技术架构,基础平台要求,核心概念分析,概念,解释,数据质量,对经营分析系统数据质量进行监控、评估和数据质量问题处理,数据质量监控,自动获取经营分析系统各环节的数据质量信息，结合元数据库中的有关检查规则和采集规则，对数据质量情况进行诊断，并及时向数据质量监控人员报告,数据稽核,是数据质量检查的基本功能，是根据预先配置的规则、算法和质量检查度量，对数据的准确性、合理性等多角度的检查，以便能及时发现问题,核心概念分析,概念,解释,数据质量知识库,数据质量管理子系统存储层上的数据质量存储信息库，主要包括各种检查规则、检查结果报告,(,包括告警,),，以及数据质量问题的处理过程信息,数据质量评估,数据质量评估是对数据质量日常管理中阶段性累积的各种信息进行汇总、梳理、统计和分析，并输出评估报告的过程,数据采集点,覆盖经营分析系统数据处理环节的，获取每个环节运行状态的实体。该实体可以是程序实体也可以是任务实体,目录,核心概念分析,产品目标,产品定位,业务架构,数据架构,应用架构,集成架构,演进思路,工作量估算,技术架构,基础平台要求,产品目标,远,景,目,标,业务目标：,在数据质量监控界面上集成元数据信息，实现拓扑呈现功能，提供经营分析系统数据处理状态和质量状况的全局视图；,进一步完善数据质量,管理知识库,，可,由数据质量知识库,自动产生检查规则的优化建议、自动产生数据质量问题的处理建议；,进一步完善数据质量评估的应用，结合元数据信息，实现数据质量评分体系；,进一步完善数据质量对外服务功能，实现数据质量管理子系统对经营分析系统的全面技术支撑。,技术目标：,云计算特性实现：分布式、动态负载、云部署和监控；,数据质量知识库关联案例搜索,，模糊,查询与知识挖掘技术,应用。,产品目标,近,期,目,标,业务目标：,在经营分析系统数据处理主要阶段设置数据质量检测点，支持对经营分析数据质量的全程监控，建立有效的数据质量监控机制，提供全面及时的数据质量报告，预防和控制错误范围的扩大；,完善数据质量,管理知识库,，积累数据质量问题及其处理过程的,相关知识，,为相同或相近问题的处理提供参考；,初步建立数据质量评估的应用，通过评估发现数据质量潜在的问题和规律；,建立数据质量问题处理机制，有效协助处理经分域数据质量问题；,开发数据质量对外服务功能，提高数据质量管理子系统对经营分析系统的技术支撑力度。,技术目标：,模块化与组件化改造,；,任务调度与业务过程解藕，复用统一的调度构件,;,采集程序分布式部署,。,配置数据库与数据仓库分离，采用文件数据库。,目录,核心概念分析,产品目标,产品定位,业务架构,数据架构,应用架构,集成架构,演进思路,工作量估算,技术架构,基础平台要求,在公司产品规划中定位,基础支撑框架,融合计费,综合客服,合作伙伴管理,WEB,客户,/,员工,/,营销人员,/,管理人员,/,合作伙伴,客户门户,Mediation,收入保障,工作流引擎,定单工单管理,专业网管,企业,ERP,应用集成平台,网络激活,营业厅,合作伙伴,客户经理,内部门户,元数据管理,企业数据仓库,决策支持,BAM,银行,产品管理平台,知识库,BOMC,IVR,短信,POS,WAP,MAS,管理,网络资源,管理系统,业务门户平台,网元层,业务网,承载网,MSC,行业网关,短信网关,HLR,WAP,网关,MAS,VGOP,M,2,M,业务平台,电子商务平台,音,乐,卡,客户管理平台,在线分析,市场营销,销售管理,综合受理,订单管理,服务请求,管理,综合帐务,HotBilling,数据服务中心,DSC,充值平台,ABM,施工管理,业务资源管理,VAC,渠道管理,规则引擎,MDB,预处理,综合采集,数据质量管理,数据集成平台,总部,BOSS,OCS,服务保障,平台,综合管理,数据访问,帐务管理,帐务处理,智能网,自助终端,自助终端平台,经营分析,基础管理,4A,平台,B2B,服务集成平台,渠道接触集成平台,综合计算,目录,核心概念分析,产品目标,产品定位,业务架构,数据架构,应用架构,集成架构,演进思路,工作量估算,技术架构,基础平台要求,业务过程列表,实体列表,上下文图,0级DFD图,1,级,DFD-P1,规则配置,1,级,DFD-P2,信息采集,1,级,DFD-P3,检查稽核,1,级,DFD-P4,监控告警,1,级,DFD-P5,问题处理,1,级,DFD-P6,知识库,1,级,DFD-P7,质量评估,1,级,DFD-P9,对外服务,2,级,DFD-P1.1,采集规则配置,2,级,DFD-P1.2,稽核规则配置,2,级,DFD-P1.3,告警规则配置,2,级,DFD-P3.1,实体稽核,2,级,DFD-P3.2,业务源数据稽核,2,级,DFD-P3.3,处理过程检查,2,级,DFD-P3.5,指标稽核,2,级,DFD-P4.6,告警管理,2,级,DFD-P7.2,数据质量问题状态评估,2,级,DFD-P7.3,数据源接口质量评估,目录,核心概念分析,产品目标,产品定位,业务架构,数据架构,概念模型,逻辑模型,应用架构,集成架构,演进思路,工作量估算,技术架构,基础平台要求,概念模型设计：,0,级,E-R,概念模型设计：,1,级,E-R,概念模型设计：,2,级,E-R,逻辑模型图,功能数据控制关系,数据,应用,采集规则,稽核规则,告警规则,评估规则,采集信息,稽核结果,监控报告,告警信息,问题信息,评估报告,知识信息,规则配置,CRUD,CRUD,CRUD,CRUD,信息采集,R,CRU,检查稽核,R,R,CRU,监控告警,R,R,CRUD,CRUD,R,问题处理,R,R,R,R,R,R,CRUD,R,质量评估,R,R,R,R,R,CRUD,知识库管理,R,R,R,R,R,CRUD,对外服务,R,R,R,UR,数据库应用分布关系,数据库,应用,主配置库,详细信息存储库,规则配置,采集规则,、,稽核规则、告警规则、评估规则,信息采集,采集信息,(,概要信息,),采集信息,(,概要信息、详细信息,),检查稽核,稽核结果,监控告警,监控报告、告警信息,问题处理,问题信息,质量评估,评估报告,案例库管理,案例信息,对外服务,问题信息、数据质量信息,目录,核心概念分析,产品目标,产品定位,业务架构,数据架构,应用架构,集成架构,演进思路,工作量估算,技术架构,基础平台要求,数据质量管理功能结构图,数据质量管理功能层次,问题处理,系统管理,数据质量管理,规则配置,信息采集,检查稽核,业务源信息采集,实体信息采集,指标信息采集,权限管理,日志管理,采集规则配置,稽核规则配置,实体稽核,指标稽核,业务源数据检查,处,理,过,程,检,查,告警规则配置,数据质量评估,指标关联性分析,数据源接口评估,问题状况评估,专题评估,监控告警,监控告警,知识库,知识管理,对外服务,数据质量信息查询,数据质量问题交互,知识共享,问题管理,问题接口,评估规则配置,任务调度,处理过程信息采集,告警管理,拓扑呈现,采集信息展示,稽核结果展示,调度接口,核心业务功能描述,规则配置：,数据采集，数据稽核和告警监控,质量评估会根据预先用户配置的规则进行相应的采集、稽核、告警和相应的评估。规则定制分为采集规则,配置,，稽核规则,配置,、告警规则,配置,，评估规则,配置,。,采,集规则,配置：,采集规则,配置,作为采集程序执行的依据。指定采集的数据库，采集方式等，分为指标采集规则，实体采集规则，业务源数据采集规则，处理过程采集规则,核心业务功能描述,稽核规则,配置：,依据数据仓库、数据集市等系统的模型约束、实体属性、实体关系和实体业务特征等角度来制定相应稽核规则。作为数据稽核的依据，分为指标稽核规则，实体稽核规则，业务源数据稽核，处理过程稽核规则,告警规则,配置：,据数据仓库模型约束以及关系、具体业务约束指定相应的告警规则。依据告警规则发出相应的告警。分为指标告警规则，实体告警规则，业务源数据告警规则，处理过程告警规则,核心业务功能描述,评估规则,配置：,数据质量问题状况评估是对数据质量问题及其处理情况的阶段性汇总与总结，评估过程中生成相应的数据质量问题状况评估报告供经营分析系统管理人员和维护人员分析与使用，数据质量人员根据数据质量问题状况和业务经验指定相应的评估规则，作为相应的指导。,信息采集,：,数据质量采集到的信息作为后续数据质量检查环节的输入，是数据质量监控的基础。信息采集分为指标信息采集，实体信息采集，业务信息采集,核心业务功能描述,指标信息采集,：,根据指标采集规则采集相应的指标值，这个指标含有指标账期，业务库等相关信息，数据稽核会根据采集结果是否满足稽核规则来报告异常。,实体信息采集,：,根据实体信息采集规则采集需要稽核的实体信息和属性信息，稽核会对实体进行主键检查，外键检查，值域检查，完整性检查，合法性检查这些操作。,业务,过程,信息采集,：,根据业务信息采集规则采集相应业务信息，从而检查分析系统各数据处理环节处理的完成情况，处理情况等信息。,核心业务功能描述,检查稽核：,检查,稽核部分根据预先配置的规则、算法和质量检查度量，对数据的正确性、合理性等多个角度进行检查，及时发现数据质量问题。主要包含以下内容：实体稽核、指标稽核、业务源数据稽核和处理过程检查。,监控告警：,数据质量稽核完成后，数据稽核结果信息根据告警规则进行数据质量的告警，并产生相应的工单信息，对数据质量问题进行处理。,核心管理功能描述,知识库,：,用来收集和积累,有关数据及过程问题的处理经验总结,，,这些知识可作为今后数据质量问题解决方法,和问题分析,的参考,。,问题处理：,数据质量稽核发现问题时，能够对问题处理，生成相应的问题工单进行处理，同时能够将相关信息进行对外提供,。,数据,质量评估,：,数据质量评估是对数据质量日常管理中阶段性累积的各种信息进行汇总、梳理、统计和分析，并输出评估报告的过程。通过数据质量评估可以发现一些潜在的数据质量问题和变化规律，如指标关联波动规律和同类问题的发生规律等。数据质量评估也可能会触发相关的后续处理，例如监控规则优化和问题处理等。,目录,核心概念分析,产品目标,产品定位,业务架构,数据架构,应用架构,集成架构,演进思路,工作量估算,技术架构,基础平台要求,集成关系图,集成列表,目录,核心概念分析,产品目标,产品定位,业务架构,数据架构,应用架构,集成架构,演进思路,工作量估算,技术架构,基础平台要求,演进思路,目录,核心概念分析,产品目标,产品定位,业务架构,数据架构,应用架构,集成架构,演进思路,工作量估算,技术架构,基础平台要求,工作量估算,-,总结,需求分析：,1,人月,系统设计：,1.8,人月,开发实现：,5,人月,测 试：,2,人月,部署实施：,0.1,人月,合 计：,8.9,人月,工作量估算,需求分析,工作名称,难度,（,1-5 Max,）,复杂度,（,1-5 Max,）,工作量,（人天）,1,规则定制,2,3,2,2,信息采集,3,4,3,3,任务稽核,3,4,4,4,告警监控,2,3,2,5,问题处理,2,3,2,6,知识库,2,2,1,7,质量评估,3,3,3,8,对外接口,4,3,4,合计,21,工作量估算,系统设计,工作名称,难度,（,1-5 Max,）,复杂度,（,1-5 Max,）,工作量,（人天）,1,规则定制,2,3,4,2,信息采集,3,4,6,3,任务稽核,3,4,6,4,告警监控,2,3,3,5,问题处理,2,3,4,6,知识库,2,2,3,7,质量评估,3,3,5,8,对外接口,4,3,6,合计,37,工作量估算,开发实现,工作名称,难度,（,1-5 Max,）,复杂度,（,1-5 Max,）,工作量,（人天）,1,规则定制,2,4,12,2,信息采集,4,4,18,3,任务稽核,4,2,12,4,告警监控,2,3,9,5,问题处理,3,3,12,6,知识库,3,2,9,7,质量评估,3,2,9,8,对外接口,4,4,18,合计,99,工作量估算,测试,工作名称,难度,（,1-5 Max,）,复杂度,（,1-5 Max,）,工作量,（人天）,1,规则定制,2,4,6,2,信息采集,3,4,8,3,任务稽核,3,3,6,4,告警监控,2,2,4,5,问题处理,2,2,4,6,知识库,2,2,4,7,质量评估,2,2,4,8,对外接口,3,4,8,合计,44,工作量估算,部署实施,工作名称,难度,复杂度,工作量,（,1-5 Max,）,（,1-5 Max,）,（人天）,1,环境检查,2,3,0.2,2,数据库发布,3,4,0.5,3 Web,程序发布,3,3,0.3,4,后台程序发布,3,2,0.2,5,程序调试,4,4,0.8,合计,2,目录,核心概念分析,产品目标,产品定位,业务架构,数据架构,应用架构,集成架构,演进思路,工作量估算,技术架构,基础平台要求,技术中立架构,外部,系统,展现层,应用层,数据层,信息采集,检查稽核,监控告警,任务调度,持久化工具,规则信息,采集信息,稽核信息,告警信息,评估信息,问题处理信息,知识库信息,日志信息,规则配置,质量问题处理,质量知识库,采集结果查询,稽核结果查询,质量评估报告,数据质量咨询,数据质量交互,经分门户,元数据平台,数据集成,平台,数据仓库,业务源系统,界面,集成,数据,集成,JVM,Web Server,JVM,技术特定架构,外部,系统,展现层,应用层,数据层,信息采集,检查稽核,监控告警,任务调度,Hibernate,、,iBatis,规则信息,采集信息,稽核信息,告警信息,评估信息,问题处理信息,知识库信息,日志信息,规则配置,质量问题处理,质量知识库,采集结果查询,稽核结果查询,质量评估报告,数据质量查询,数据质量交互,经分门户,元数据平台,数据集成,平台,数据仓库,业务源系统,界面,集成,数据,集成,JVM,WebLogic/Tomcat,JVM,Html,、,jQuery,、,Struts,、,Osgi,、,SpringDM,Osgi,、,SpringDM,平台架构图,数据层,逻辑层,接入层,主配置库,Web,容器,规则配置,采集、检查、告警结果展示,问题处理,数据质量案例库管理,质量评估,JVM,数据采集,监控告警,检查稽核,对外服务,数据采集,数据采集,详细信息存储库,（可选）,技术要求,支持常用主流数据库,(,至少包括,oracle,、,DB2,、,Teradata),的数据实体属性的采集。,支持组件化的开发与部署。,采集程序支持分布式部署。,支持采集以下多种类型的数据：文件日志、系统日志、数据库库表、通过执行脚本或系统命令获取的数据（如,CPU,信息和内存信息）。,问题总结过程和数据质量评估过程中输出的文档支持,Text,、,CVS,、,PPT,、,Excel,或,Word,等格式。,界面风格要求一致（如用统一的,CSS,）、界面直观易懂、易操作和人性化。,目录,核心概念分析,产品目标,产品定位,业务架构,数据架构,应用架构,集成架构,演进思路,工作量估算,技术架构,基础平台要求,基础平台要求,非功能指标,系统容量指标,：单,JVM,支持,10W,采集点和,1W,稽核规则。,系统性能指标,：,略。,网络拓朴图,(,略,),硬件运行环境,主机：小型机、刀片机、,PC Server,，至少,1G,内存、,2CPU,。,存储：取决于采集数据量，一般不超过,10G,。,软件运行环境,操作系统：主流,unixlinuxwindows,操作系统。,Web,服务器：,weblogic9,以上或,tomcat5.5,以上。,JVM1.5,以上。,谢谢观看！,