（高清版）DB3713_T 261-2022公共数据+开放数据质量管理规范.pdf

ICS 35.240.01 CCS L 72 3713 临沂市地方标准 DB 3713/T 2612022 公共数据 开放数据质量管理规范 Public dataspecification for open data quality management 文稿版次选择 2022-08-17 发布 2022-09-17 实施 临沂市市场监督管理局 发 布 前 言 本文件按照GB/T 1.12020标准化工作导则 第1部分：标准化文件的结构和起草规则的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由临沂市大数据局提出、归口并组织实施。公共数据 开放数据质量管理规范 1 范围 本文件规定了公共数据开放数据（以下简称“开放数据”）质量管理的术语和定义、职责要求、数据质量管理指标、开放数据生存周期与各阶段管理要求和评价。本文件适用于临沂市公共数据开放工作中数据质量的管理。2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T 18391.1 信息技术 元数据注册系统(MDR)第1部分：框架 GB/T 35295 信息技术 大数据 术语 GB/T 363442018 信息技术 数据质量评价指标 3 术语和定义 GB/T 35295、GB/T 18391.1 界定的以及下列术语和定义适用于本文件。3.1 公共数据 public data 公共数据提供单位在依法履行公共管理职责、提供公共服务过程中，收集和产生的各类数据。3.2 开放数据 open data 公共数据提供单位面向社会开放的具备原始性、可机器读取、可进行社会化开发利用的数据集（无条件开放和有条件开放部分）。3.3 公共数据开放 public dataopen 公共数据提供单位面向社会提供具备原始性、可机器读取、可进行社会化开发利用的数据集的公共服务。3.4 公共数据开放主体 public data open main organization 国家机关、法律法规授权的，具有管理公共事务职能的各级组织，具有公共服务职能的企业事业单位，人民团体等公共数据提供单位。3.5 公共数据管理者 public data administrator 贯彻国家、省市关于大数据发展的方针政策和决策部署，统筹管理辖区公共数据资源的政务部门，一般指市级和县区级大数据局（大数据中心）。3.6 开放数据利用主体 open data user 依法依规获取各类开放数据的公民、法人和其他组织。3.7 符合性评价 conformity evaluation 对产品、过程或服务达到规定要求的程度所进行的系统性考核。3.8 数据生存周期 data lifecycle 将原始数据转化为可用于行动的知识的一组过程。来源：GB/T 352952017，2.1.2 3.9 数据质量 data quality 在指定条件下使用时，数据的特性满足明确的和隐含的要求的程度。来源：GB/T 363442018，2.3 3.10 数据标准 data standard 数据的命名、定义、结构和取值规范方面的规则和基准。来源：GB/T 363442018，2.8 3.11 元数据 metadata 定义和描述其他数据的数据。来源：GB/T 18391.12009，3.2.16 4 职责要求 4.1 公共数据开放主体 4.1.1 基于政务信息资源共享交换平台数据目录，依据数据质量指标要求，进行数据清洗后申请在市级公共数据开放网申请开放。负责开展本单位公共数据资源目录编制、数据汇聚、清单编制、开放和安全等工作。4.1.2 对公共数据开放主体反馈的质量问题予以核实整改。4.1.3 按照数据目录更新频率更新其开放的公共数据。4.1.4 审核开放数据利用主体提出的针对本单位有条件开放的公共数据的使用申请。4.1.5 及时回应公共数据开放主体对公共数据的开放需求。4.2 公共数据管理者 4.2.1 指导推进、监督考核本行政区域内公共数据开放、利用相关工作。4.2.2 根据需要组织编制和维护本级公共数据开放清单，负责开放平台本级相关数据管理工作。4.2.3 提出开放数据的数据目录规范、数据质量指标要求，制定数据质量管理规则。4.2.4 对公共数据开放主体提出的数据质量要求及时进行处理和反馈。4.2.5 对公共数据开放主体所开放数据执行数据质量评估。4.3 开放数据利用主体 4.3.1 在授权范围内使用并保管好获取的相关数据，采取必要防护措施，保障公共数据安全，不得损害国家利益、公共利益和第三方合法权益。4.3.2 建立数据利用风险评估机制与质量反馈机制。4.3.3 及时向公共数据开放主体报告数据利用中发现的各类数据安全风险和质量问题，切实履行数据安全保护义务。5 数据质量管理指标 5.1 指标框架 开放数据的数据质量管理指标框架见图1，应基于此框架对开放数据进行数据质量的符合性评价。图1 说明：规范性开放数据符合数据标准、数据模型、业务规则等的程度。完整性按照开放数据规则要求，实体、属性、记录及字段值等的完整程度。准确性开放数据与其所描述对象的真实值对比的准确程度。一致性开放数据与共享交换平台中的数据或不同公共数据提供单位所提供的同类数据之间无矛盾的程度。数据质量管理指标框架 规范性 完整性 准确性 一致性 时效性 可访问性 时效性开放数据及时有效的程度。可访问性开放数据可被访问的程度。5.2 指标评价 公共数据开放数据质量指标描述应符合GB/T 363442018中第4章、第5章的要求，并应满足表1规定的相应评价指标的基准值。表1 评价指标 指标名称 指标描述 计算方法 指标 基准值 规范性 数据标准 数据符合数据标准的度量。注 1：评价数据质量时需要收集数据在命名、创建、定义、更新和归档时遵循的标准，包括国际标准、国家标准、行业标准、地方标准或相关规定等。注 2：和数据归档一样甚至更重要，在一个完整的数据规则中旧数据的销毁一般也有一个比较详细且具有可执行性的规定。X=A/B 式中：A=满足数据标准要求的数据集元素的个数；B=被评价的数据集中元素的个数 90%元数据 数据符合元数据定义的度量。注：元数据标注、描述或刻画其他数据、以使检索、或使用信息更容易。评价数据质量时需要检查是否提供可解读的元数据文档。示例：包含各字段名称、描述、类型值域等内容的数据字典为一种元数据文档。X=A/B 式中：A=满足元数据定义的数据集中素的个数；B=被评价的数据集中元素的个数 90%安全规范 安全规范是安全和隐私方面的规则，包括数据权限管理数据脱敏处理等。X=A/B 式中：A=满足安全规范的数据集中元的个数；B=被评价的数据集中元素的个数 100%完整性 数据元素完整性 按照业务规则要求,数据集中应被赋值的数据元素的赋值程度。X=A/B 式中：A=被赋值的数据集中元素的个数；B=预期被赋值的数据集中元素的个数 98%表 1（续）评价指标 指标名称 指标描述 计算方法 指标 基准值 准确性 数据内容正确性 数据内容是否是预期数据。X=A/B 式中：A=满足数据正确性要求的数据集中元素的个数；B=被评价的数据集中元素的个数 95%数据格式合规性 数据格式（包括数据类型、数值范围、数据长度、精度等）是否满足预期要求。示例：示例：性别一栏不能出现男/女以外的内容；身份证号不能出现标点符号；以及对字符编码的一些限制，都需要通过规定内容的格式来实现。X=A/B 式中：A=满足格式要求的数据集中元素的个数；B=被评价的数据集中元素的个数 95%数据唯一性 特定字段、记录、文件或数据集唯一性的度量。X=A/B 式中：A=满足唯一性要求的数据集中元素的个数；B=被评价的数据集中元素的个数 90%一致性 相同数据一致性 同一数据在不同位置存储或被不同应用或用户使用时，数据的一致性；数据发生变化时，存储在不同位置的同一数据被同步修改。X=A/B 式中：A=满足一致性要求的数据集中元素的个数；B=被评价的数据集中元素的个数 100%时效性 基于时间段的正确性 基于日期范围的记录数或频率分布符合业务需求的程度。X=A/B 式中：A=满足有效性要求的数据集中元素的个数；B=被评价的数据集中元素的个数 95%可访问性 可访问 数据在需要时的可获取性。X=A/B 式中：A=满足可访问性要求的数据集中元素的个数；B=被评价的数据集中元素的个数 99%6 开放数据生存周期与各阶段管理要求 6.1 开放数据生存周期 开放数据质量管理应贯穿于开放数据生存周期的各个阶段。开放数据生存周期应符合图2的规定。图2 6.2 管理要求 6.2.1 数据需求 6.2.1.1 公共数据管理者应评估数据需求，确认公共数据开放主体。6.2.1.2 公共数据管理者和公共数据开放主体应共同建立或更新对应的数据质量要求，以保证数据质量要求与实际需求的一致性。6.2.1.3 公共数据开放主体应按照公共数据目录规范编制开放数据目录。6.2.2 数据采集 公共数据管理者应严格按照6.2.1的要求采集满足相关需求的公共数据。6.2.3 数据清洗 6.2.3.1 公共数据管理者应按照开放数据目录的敏感级别等要求，对 6.2.2 采集的数据进行清洗。6.2.3.2 数据应满足规范性、完整性、准确性、一致性和时效性等要求。6.2.4 数据开放 6.2.4.1 公共数据管理者和公共数据开放主体应分别对开放数据进行需求最终审核和质量验证，由公共数据管理者开放符合条件的数据。6.2.4.2 数据应满足规范性、完整性、准确性、一致性、时效性和可访问性等要求。6.2.5 数据应用 6.2.5.1 开放数据利用主体基于开放数据开发数据应用，并在市级公共数据开放网发布相关应用，同时在用户角度对数据质量进行验证，将相关结果反馈给公共数据管理者。6.2.5.2 公共数据管理者应积极响应开放数据利用主体提出的相关需求。6.2.5.3 数据应满足规范性、完整性、准确性、一致性、时效性和可访问性等要求。6.2.6 数据评估 公共数据管理者应联合公共数据开放主体和开放数据利用主体开展数据评估工作。6.2.7 数据退役 公共数据管理者应结合6.2.6的评估结果及相关政策要求，对不再适合开放的数据进行归档或销毁。数据需求 数据采集 数据清洗 数据开放 数据评估 数据应用 数据退役 数据运维 7 评价 开放数据质量管理过程中数据质量评价应按GB/T 363442018的规定进行。_