工商数据质量管理校核解决方案.doc

-源于数据 缔造价值 数据质量管理校核系统方案建议书 IBM Corporation 2010. All Rights Reserved. IBM is a registered trademark of International Business Machines Corporation in the United States, other countries, or both.IBM 源于数据，缔造价值目 录第1章摘要11.1我们对您的目标的理解11.2我们如何帮您实现目标（方案简述）21.3方案价值21.4成功案例3第2章工商数据质量管理校核系统解决方案介绍42.1总体架构42.2功能模块42.3典型配置82.3.1Spss modeler数据服务器配置说明8 目 录第1章 摘要1.1 我们对您的目标的理解国家于2007年底陆续开始实施金信工程一期，依托国家电子政务网络，建立了涵盖全国市场主体的经济户口数据库，为国家电子政务重点工程提供了有力支撑；通过数据整合，建立了为企业监管、“12315”执法和商标知识产权保护服务的专题数据库群，为各级工商行政管理部门监督管理市场主体提供及时、准确的信息支持；建立覆盖全国各级工商行政管理机关的“12315”行政执法信息处理网络和企业信用分类监管两类业务应用系统，整合了现有业务，优化了企业监管与行政执法业务应用支撑系统；实现了申诉举报信息的全面采集、逐级汇总和综合利用，实现行政执法的网上操作、网上调度指挥和网上信息流转。但是，通过数据现状分析发现还存在很多问题，各个单位都普遍存在数据缺项、冗余、不准确等问题。为此，2010年，总局在关于在全国工商行政管理系统开展“数据质量建设年”活动的通知（工商办字201080号）中，明确要求，在制定数据质量管理制度的基础上，建设数据质量评价校核管理系统，利用先进的技术手段，进行数据质量评价校核，实施数据质量的全面检查。目前大部分地方工商系统还没有较为成熟的数据质量管理系统，一般采用的是SQL拼接的方式来进行数据质量检查，这种校核方式存在以下弊端：l 基于SQL查询比对进行数据质量管理，技术门槛高，数据质量的问题大多来源于业务部门，而业务部门大多不能也难于操作SQL查询，技术门槛成为数据质量校核的一大瓶颈。l 基于SQL的查询比对基本是基于命令行的操作，参数选择和任务配置较为繁琐，很难实现灵活的模型管理和任务流调度管理，系统架构较为死板，灵活性与开放性均较差。l 数据质量校核的模型管理没有专业的工具来进行，只能借助数据库的现有的工具来进行，当模型数量增加时，管理较为吃力。l 业务变动时或者新增需求时模型的修改与新建较为繁琐。l 很难进行基于统计意义的数据质量校核，例如孤立点探测，离群值探测等等。为解决以上问题，缩短与国际先进数据管理方式的距离，数据共同打造工商数据质量管理校核系统，引入专业的数据管理分析工具Spss modeler，结合工商总局现有的业务规则以及各地工商实际业务特点量身打造本系统，推进工商数据精细化和科学化，其建设目标在于： 实现领先的数据质量管理理念； 形成科学、实用的数据质量管理体系，数据质量校核模型体系； 建立数据质量管理长效协同机制； 扩展、深化数据管理内容，为进一步工商数据分析应用奠定基础。1.2 我们如何帮您实现目标（方案简述）工商数据质量管理校核系统，是为工商管理领域提供的联合解决方案，该系统针对目前工商管理中存在的数据质量问题，例如完整性问题、一致性问题、准确性问题、规范性问题以及问题数据的追溯反馈问题，整合了数据仓库、数据分析，数据挖掘，可视化展现以及工作流等多项信息技术，结合了工商总局现有的业务规则设计开发数据质量完整性模型，规范性模型，准确性模型，离群值模型，孤立点探测模型等，近1000条业务规则模型，涵盖目前工商市场主体，案件，12315等基本业务主题，实现对各地方工商业务数据的全面，专业，高效的数据质量校核与监控。同时，工商数据质量管理校核系统也为进一步数据分析应用奠定了技术支撑。 数据质量模型设计可视化：可视化操作，降低业务人员技术门槛 数据管理校核任务流程化：采用工作流管理模式，可方便进行模型间的组合形成工作流，同时对该工作流的调度管理按照任务管理模型进行，方便易用。 问题数据追溯智能化：对于问题数据按照业务归属自动推送到相 关业务归口单位，实现智能推送，闭环管理业务流程。 标准八大业务模块：平时检查模块、集中检查模块，问题追溯模块，模型管理模块，可视化展现模型，数据质量监测评价模块，数据质量分析模块，任务管理模块。1.3 方案价值工商数据质量管理校核系统适用于省、市、区县工商管理部门，能够满足现有工商业务数据质量管理的基本需求；内嵌总局规范的数据质量管理模型体系（校核规则近1000条），能够根据各地实际业务需求进行灵活定制开发，快速响应新业务需求，可以深化和扩展数据管理内容，实现数据应用分析的扩展需求。实施本方案将为您带来如下价值： 极大地提高了工商数据管理效率按照工商总局实际应用统计，本系统对全国存量数据进行扫描校核，处理时间在20小时以内，对于周新增数据进行扫描校核，处理时间在2小时以内。而以往采用SQL进行数据质量校核，存量校核处理时间在3天以上，可见，应用系统后数据质量管理效率明显提高。 大大降低了数据质量管理成本本系统采用先进的工具软件进行模型设计，大大降低了模型设计开发与维护的技术门槛，普通业务人员经过简单培训就可以快速上手，缩短了与技术人员交流的时间，大大降低了管理成本。同时本系统可方便进行存量数据和增量数据检查，系统针对不同业务主题进行合理的选择，实现数据质量的增量检查和分环节检查，降低了检查负荷，提高了检查监控的频率，从而降低了检查成本。 为实现进一步数据分析应用奠定了基础数据质量管理校核内嵌全面系统的总局数据质量校核模型，可大大提高现有工商数据质量，同时本系统采用的工具软件Spss modeler内嵌丰富先进的数据挖掘模型，可实现对现有工商数据的深度应用分析，例如市场活跃度指数构建与分析，市场主体存活路径分析，信用风险模型体系构建等等。1.4 成功案例l 国家工商总局数据质量管理校核系统第2章 工商数据质量管理校核系统解决方案介绍2.1 总体架构工商数据质量管理校核系统设计按照分层设计理念，分为网络通讯层，系统设施层，数据层，模型层，分析展现层，应用系统层和界面层，系统建设的同时建设数据质量评价校核的安全体系，标准体系和协作体系，具体如下图所示：图表 1 逻辑结构图其中集中检查的外业部分采用客户端进行，客户端自身携带检查任务，检查工作流，问题数据库。当外业工作完成后，可以将检查结果（问题数据库）提交到服务器端的问题数据库中。2.2 功能模块工商数据质量管理校核系统包括数据质量监测评价校核，问题数据追溯反馈和数据质量模型管理三大核心模块以及前端展示模块和数据质量分析模块等组成。其中数据质量监测评价校核模块的主要功能如图2所示。数据质量监测评价校核模块平时检查平时检查总体评价市场主体信息黑名单一人公司数据互联网应用企业数据动态更新情况数据规则统计查询检查范围核准图2 数据质量监测评价校核模块功能图问题数据追溯反馈模块的主要功能如图3所示。问题数据追溯模块问题数据查询问题数据发布修正进度监控数据分析报告图3 问题数据追溯模块功能图数据质量模型管理模块的功能如图4所示。数据质量模型管理模块流文件管理任务流调度规则表管理图4 数据质量模型管理模块功能图 数据质量前端展现主要完成对现有数据的质量分析查看，帮助深入了解数据质量主要存在的问题，区域分布特点，业务分布特点，质量变化趋势等等，主要借助Cognos展现工具来实现。数据质量分析模块包括： 设计评价模型 设计评估模型， 使用工具软件采用Spss modeler (Spss Spss modeler 13.0)通过看我们已经做好的国家工商行政管理总局数据质量评价校核管理系统的一些截图，可以使读者更了解本解决方案，下面的是平时检查模块的页面截图，如图5所示。图5 平时检查页面截图 以下是平时检查部分的模型开发列表，如图6所示。图6 平时检查模型开发列表图以下是模型设计图，通过一个个的节点构成模型，如图7所示。图7 模型设计图2.3 典型配置 应用系统：工商数据质量管理校核系统 数据库： IBM DB2 数据库接口：SPSS Access Pack提供的ODBC 工具软件：Spss modeler ( Spss modeler) 操作系统： Windows 2000, Windows 2003 or Windows XP 硬件平台：IBM X3850 存储系统：IBM DS48002.3.1 Spss modeler数据服务器配置说明2.3.1.1 数量对性能的影响每个CPU的核心速率都会影响到数据挖掘性能。几乎所有的数据挖掘操作，尤其是建模，更依赖于处理器性能，因此提升CPU速率相应地就能给许多Spss modeler操作带来相应的益处。当运行多个数据流时多CPU（或是多核CPU）平台能够有很好的性能改善。这就意味着用户数量是决定CPU数量的决定因素。多CPU能够提升并行处理能力，但更大的好处就在于能够支持更多的并发用户。用户个数CPU数量1-213-425-10411-20821+16表1 CPU数量与用户关系的建议表使用SPSS在生产服务器上执行数据挖掘任务，CPU的数量则要考虑同时执行的独立作业的个数。同时建立多个模型或者把一个模型评分过程分解成多个平行步骤分派给多个CPU执行能够让数据挖掘过程的性能达到最大。2.3.1.2 内存对性能的影响大多数Spss modeler操作只需要很小的内存就能够处理大数据集。只有一些特殊的操作，如排序，联合和建模需要把数据临时存放在内存中。如果内存不足，这些操作会把部分数据作为虚拟内存存放在外部存储器中。此时性能会受到影响。因为磁盘的读写访问速度要远远低于内存。同CPU使用建议一样，用户数的多少同样对内存的需求有着密切关系，当然也与数据量的大小有关。用户个数最小内存需求1-21GB3-42GB5-104GB11-208GB21+16GB表2 内存需求与用户关系的建议表大数据集模型建立在数据挖掘过程中模型建立是对内存需求非常敏感的操作步骤。一般来说想要得到较好的效果，模型建立的过程应当是在小数据集上建立多个模型，然后从中选择一个最佳模型应用，而不是在一个大数据集上只建立一个模型。这种模型建立方式通常能够对内存的需求降到最低。虽然使用更多的数据未必能让模型的准确度更高，但是如果实际中确实需要处理大规模数据的话，增加内存有助于性能的提升。列数行数（百万）10205010050010000.10.50.50.50.5240.50.50.50.514810.50.51281620.50.524163240.5148328128161624163232483264816表3 内存需求与数据量的关系建议表表3中对模型建立过程中为了避免磁盘缓冲而所需要的内存需求提供了一些数据参考，其中的数据估计是依据神经网络，K-均值聚类和Kohonen建模算法。当然，实际中最大的物理内存也要受操作系统的能力约束。 第10页