《智慧城市大数据平台数据质量管理规范》.doc

智慧城市大数据平台数据质量管理规范团体标准(征求意见稿)编制说明一、项目来源智慧城市大数据平台数据质量管理规范团体标准由深圳中兴网信科技有限公司提出，由深圳市深圳标准促进会归口，由深圳中兴网信科技有限公司负责牵头起草，深圳标准院、华傲数据等多家单位共同参与制定。二、项目背景、目的、意义及必要性1. 背景智慧城市是运用物联网、云计算、大数据、空间地理信息集成等新一代信息技术，促进城市规划、建设、管理和服务智慧化的新理念和新模式。建设智慧城市，对加快工业化、信息化、城镇化、农业现代化融合，提升城市可持续发展能力具有重要意义。智慧城市建设和发展是我国的国家战略。习近平总书记指出“实施创新驱动发展战略建设智慧城市，是实现中华民族伟大复兴之路的重要基础”；李克强总理也多次强调“中国走新型城镇化道路，既要立足国情，又要注意汲取已经实现现代化国家的科学理念和先进经验，智慧城市将成为信息化与城镇化的最佳契合点”；中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要指出“分级分类推进新型智慧城市建设，将物联网感知设施、通信系统等纳入公共基础设施统一规划建设，推进市政公用设施、建筑等物联网应用和智能化改造。”；深圳市国民经济和社会发展第十四个五年规划和二三五年远景目标纲要提出加快建设数字政府和新型智慧城市，打造更聪明的新型智慧城市。而数据的应用是智慧城市和数字政府建设的重要支撑，数据相关政策也密集出台，数据标准被当作实施智慧城市及数字政府国家战略的重点任务。这些规划政策的出台均体现出我国政府对智慧城市、数字政府的建设和发展在数据层面的顶层设计以及战略规划。2. 目的本文件用于大数据平台的数据质量管理工作，旨在通过明确数据质量管理职责，运用现代质量管理的方法，按照ISO 9000 质量管理体系中持续改进(PDCA)的思想，建立起系统性的质量管理体系，对影响据质量的关键流程和重要环节实施控制，以实现数据质量的不断提升。本文件针对大数据平台建设工作的具体实践，明确了数据质量管理工作的主要内容，提出了数据质量管理的基本方法。3. 意义大数据平台将互联网应用和大数据产品整合起来，构建成一个完整的系统，将实时数据和离线数据打通，使数据可以实现更大规模的关联计算，挖掘出数据更大的价值； 进而实现数据驱动业务，通过数据统计发现业务规律； 最后利用这个规律对未来的数据进行分类和预测，使系统呈现出智能的特性，也为互联网未来发展和人类的生产生活创造了无限可能。而数据是大数据平台提供规模化、精细化服务的基础，数据质量的好坏直接关系到大数据平台运行及提供服务的好坏，本标准的建立将为规范大数据平台的数据质量提供数据质量管控的依据。4. 必要性大数据平台对业务的驱动、技术的应用、各种新的大数据技术产品的研发，智慧城市以及城市数字化转型等提供基础的数据集成应用支撑，文件的出台对规范大数据平台中数据质量提供管理的流程及技术依据，具有必要性。三、编制思路和原则（一）编制思路以大数据平台的时实践作为基础，定义与大数据平台应用相关的术语，明确大数据平台的数据供给关系，大数据平台内的数据的扭转关系，提出数据质量管理的相关方要求、数据处理要求和数据质量管理要求，明确数据质量管理的规划与设计，管理流程，流程关键节点的管理实施方法等。（二）编制原则1) 标准化对象原则：本标准选取“大数据平台数据质量的管理”为对象，形成系统的管理方法并进行规范。2) 文件使用者原则：本标准的使用者为各大数据平台的数据提供方、数据需求方、数据服务管理等相关方。3) 目的导向原则：本标准为大数据平台建立数据质量管理方法，为各相关方进行角色定位、实施数据质量管理、数据质量评价等工作提供依据及支撑。4) 科学性原则：本标准来源于深圳市龙华区智慧城市大数据平台建设及应用的实践，形成团体标准，规范区级智慧城市大数据平台建设和应用过程中的数据质量管理。5) 适用性原则：适用于智慧城市大数据平台的相关方开展数据质量管理活动。6) 协调一致原则：本标准与GB/T 36344信息技术 数据质量评价指标等大数据质量相关标准协调使用。7) 规范性原则：本标准符合GBT 1.1标准化工作导则 第1部分：标准化文件的结构和起草规则的编写要求。四、编制过程（一）标准预研2020年03月，开展标准的预研，针对智慧城市大数据平台建设和应用的各相关方、管理需求、管理流程等标准化需求等进行调研。2020年03月-05月，确定标准主题、范围及框架。2020年06月-10月，组织多次线上会议讨论标准框架、并形成标准草案。2020年10月-2021年2月，组织多次讨论会完善标准草案。（二）标准立项2021年03月，在深圳市深圳标准促进会提出标准立项建议。（三）讨论稿编写阶段2021年03月-8月，开展标准编制工作，针对标准草案进行多次研讨，形成标准征求意见稿。五、内容说明本文件的主要包括以下内容：范围：在“范围”一章中，明确了本文件的主题内容的范围为：智慧城市大数据平台数据质量管理的术语和定义、数据供给关系、数据质量管理规划与设计以及数据质量管理流程。适用于智慧城市大数据平台的数据质量管理。规范性引用文件: 在“规范性引用文件”一章中，引用了相关国家标准。术语和定义：在“术语和定义”一章中，为了更好地理解和使用本标准，参考国内外相关标准、文献、工具书，给出了适用于本文件的“数据”、“数据质量”、“数据质量范围”等13个定义和术语。数据供给关系：在“数据供给关系”一章中明确了大数据平台中各数据流转阶段的数据流转关系以及各相关方的职责。总体要求：提出了大数据平台各相关方管理数据质量、数据的处理以及数据质量管理的总体要求。数据质量管理规划与设计：提出数据质量管理的基本原则、数据质量描述原则、数据质量定量元素与定量子元素、描述工具、描述内容。数据质量管理流程：按数据质量问题收集分析、问题分类、制定问题解决方案、方案执行、质量评价、质量评价验证、评价报告、应用前符合性验证的顺序进行流程描述。附录A：给出数据质量管理报告的示例。六、明确标准中涉及专利的情况，对于涉及专利的标准项目，应提供全部专利所有权人的专利许可声明和专利披露声明本标准不涉及知识产权问题。七、标准的属性建议本标准为深圳市深圳标准促进会团体标准。八、重大分歧意见的处理经过和依据本标准在制定过程中未出现重大分歧意见。智慧城市大数据平台数据质量管理规范标准编制组 2021年8月6