DB37∕T 4234—2020 特种设备大数据平台数据交换技术规范(山东省).pdf

ICS 35.040 CCS A 24 山东省地方标准 DB37/T 42342020 37 特种设备大数据平台数据交换技术规范 2020 - 12 - 04 发布 2021 - 01 - 01 实施 山东省市场监督管理局 发 布 DB37/T 42342020 I 目次 前言 . II 1 范围 . 1 2 规范性引用文件 . 1 3 术语和定义 . 1 4 缩略语 . 1 5 数据交换工作流程 . 2 6 数据交换技术架构 . 2 7 数据交换技术要求 . 3 8 数据交换安全要求 . 6 9 数据质量保障要求 . 6 附录 A（资料性） 数据接口规范 JSON Schema 示例 . 7 附录 B（资料性） 数据接口规范 XML Schema 示例 . 8 DB37/T 42342020 II 前言 本文件按照GB/T 1.12020标准化工作导则 第1部分：标准化文件的结构和起草规则的规定起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由山东省市场监督管理局提出、归口并组织实施。 本文件起草单位：山东特检鲁安工程技术服务有限公司、济南市特种设备检验研究院、青岛市电梯安全应急和监控中心。 本文件主要起草人：刘丽梅、李磊、李观松、高洪刚、薄照宾、刘泉江、苏兴明、吴旋、房建斌。 DB37/T 42342020 1 特种设备大数据平台数据交换技术规范 1 范围 本文件规定了特种设备大数据平台数据交换的工作流程、技术架构、技术要求、安全要求和数据质量保障要求。 本文件适用于特种设备大数据平台与相关业务系统、服务平台及监测管理平台等的数据交换。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。 其中， 注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T 35295 信息技术 大数据 术语 GB/T 37973 信息安全技术 大数据安全管理指南 GB/T 37721 信息技术 大数据分析系统功能要求 TSG Z0002 特种设备信息化工作管理规则 3 术语和定义 GB/T 35295、GB/T 37973、GB/T 37721界定的以及下列术语和定义适用于本文件。 3.1 大数据 big data 具有数量巨大、种类多样、流动速度快、特征多变等特性，并且难以用传统数据体系结构和数据处理技术进行有效组织、存储、计算、分析和管理的数据集。 来源：GB/T 379732019，3.1 3.2 大数据平台 big data platform 采用分布式存储和计算技术， 提供大数据的访问和处理， 支持大数据应用安全高效运行的软硬件集合。 来源：GB/T 379732019，3.3 3.3 结构化数据 structured data 存储在数据库里，可以用二维表结构表示的数据。 来源：GB/T 377212019，3.2 3.4 非结构化数据 unstructured data 除了结构化数据之外的没有明确结构约束的数据。 来源：GB/T 377212019，3.3 4 缩略语 DB37/T 42342020 2 下列缩略语适用于本文件。 JSON：JavaScript 对象标记(JavaScript Object Notation) SOAP：简单对象访问协议(Simple Object Access Protocol) XML：可扩展标记语言(Extensible Markup Language) 5 数据交换工作流程 5.1 特种设备大数据平台数据交换工作流程，主要包括数据采集、数据交换及数据应用三个环节，见图 1。 5.2 数据采集，是特种设备大数据平台的数据来源，主要途径包括特种设备物联网、特种设备应用系统、特种设备服务平台获取。 5.3 数据交换，经过数据采集环节采集到的所有数据，经过数据模拟系统验证满足数据安全质量保障要求后，正式进行数据交换。数据安全质量保障要求，见本文件第 8、9 章。 5.4 数据应用， 利用大数据技术和方法， 对交换数据进行加工处理形成标准化数据， 并实现数据管理、数据共享及和数据服务。 图1 特种设备大数据平台数据交换工作流程图 6 数据交换技术架构 6.1 特种设备大数据平台数据交换技术架构见图 2。 6.2 数据采集，特种设备物联网，包括电梯、气瓶、锅炉等在线物联网实时数据的采集；业务应用包括特种设备的制造、安装、使用、监督管理、检验检测、应急处置等信息系统的业务信息数据的采集；外部服务包括企业服务平台等。 6.3 数据交换， 通过物联网网关或通讯协议、 消息中间件以及 Web 服务接口三种方式实现数据的交换： a) 物联网网关及通讯协议，主要实现电梯物联网、气瓶物联网、锅炉物联网等实时数据可以直接交换到交换数据库； b) 消息中间件以及 Web 服务接口主要实现特种设备制造、充装、使用、监督管理、检验检测、应急处置等各信息数据的交换及外部服务信息数据的交换； c) 消息中间件以及 Web 服务接口，也可以交换特种设备物联网交换到相关业务系统及服务平台的信息数据的交换。 6.4 数据应用，对交换数据库数据进行大数据 ETL 处理形成标准化数据，并对数据实现数据管理、数据共享及数据服务；数据共享，是将特种设备大数据平台标准化的数据，向国家级平台实现数据共享；同时通过山东省数据开放平台进行注册并提供开放接口的形式，对外部服务实现数据共享。 DB37/T 42342020 3 图2 数据交换技术架构 7 数据交换技术要求 7.1 数据交换策略 特种设备大数据平台提供实时交换、定时交换两种交换方式，全量交换、增量交换两种交换形式。 7.1.1 交换方式 7.1.1.1 实时数据交换 实时交换是指数据产生后即时进行的数据交换， 适用于高频率、 对时效性敏感的交换场景。 如电梯、气瓶、 锅炉等特种设备物联网感知层获取的实时信息数据， 将感知的时序数据即时交换到特种设备大数据平台的数据交换。 7.1.1.2 定时批量数据交换 定时批量数据交换是指按照设定时间进行的数据交换， 适用于低频率、 对数据变更时效性不敏感的交换场景。如特种设备相关业务系统及服务平台等数据的交换，可以按照每日、每周或每月定期进行数据交换。 7.1.2 交换形式 7.1.2.1 全量交换 全量交换是指一次性将所有数据交换到目标节点的交换方式， 一般适用于低频率 （每天、 周、 月等） 、对数据变更时效性不敏感的交换场景。如特种设备注册登记及业务变更等数据的交换。 7.1.2.2 增量交换 DB37/T 42342020 4 增量交换是指获取增量数据并交换到目标节点的交换方式， 适用于高频率、 对数据变更时效性敏感的交换场景。如特种设备检验检测等数据的交换。 7.1.2.3 数据关系标识 全量交换及增量交换时，交换数据需具有完整的数据关系标识。 7.2 数据交换方法 7.2.1 物联网网关/通讯协议交换 7.2.1.1 适用于电梯、气瓶及锅炉等特种设备物联网感知数据交换实时性要求较高的数据交换。特种设备物联网感知设备，将感知的时序数据通过物联网网关/通讯协议实时交换到交换数据库并实现数据持久化。交换方法如图 3 所示。 图3 通讯网关交换示意图 7.2.1.2 物联网感知设备，包括传感器、RFID 电子标签、摄像头及二维码等。 7.2.1.3 物联网网关/通讯协议，即物联网感知数据的交换网络，包括物联网网关设备及 WIFI、4G 等无线或有线网络。 7.2.2 消息中间件交换 7.2.2.1 适用于特种设备检验检测信息等数据交换实时性要求较高、小批量的数据交换，是资源提供方主动以增量数据的方式推送数据到数据管理平台，具有数据交换及时、安全、准确性高特点。交换方法如图 4 所示。 图4 消息中间件交换示意图 7.2.2.2 资源提供方以增量方式提供数据，将增量数据（包括增删改的数据）发布到消息队列中。 7.2.2.3 数据管理平台从消息队列中接收到资源提供方提供的数据，并进行标准化处理。 7.2.2.4 数据管理平台将加工处理过的标准化数据持久化到数据库中。 7.2.2.5 数据管理平台将标准化的数据以广播的方式发送到资源需求方的消息队列中。 DB37/T 42342020 5 7.2.2.6 资源需求方从消息队列中接收标准化的数据。 7.2.3 Web 服务接口交换 7.2.3.1 适用于特种设备制造信息、充装信息、使用信息、监督管理信息、应急处置信息等定时、大批量的数据交换。资源使用方通过主动请求的方式获取资源提供方数据信息的情形。交换方法如图 5所示。 图5 Web 服务交换示意图 7.2.3.2 服务提供方设计、实现 Web 服务，并通过服务注册中心发布。 7.2.3.3 服务请求方向服务注册中心发起请求，服务注册中心为其提供授权的、满足请求的服务。 7.2.3.4 服务注册中心向服务请求方返回满足条件的 Web 服务描述信息。 7.2.3.5 服务请求方利用服务注册中心返回的服务描述信息, 生成相应的 SOAP 消息， 发送给服务提供方，实现 Web 服务的调用。 7.2.3.6 服务提供方按 SOAP 消息执行相应的 Web 服务，并将服务结果返回给服务请求方。 7.3 数据交换格式 7.3.1 JSON 数据交换 适用于特种设备物联网、特种设备业务系统及服务平台数据的交换。 按照数据接口模型构建的JSON Schema示例见附录A。 7.3.2 XML 数据交换 适用于特种设备业务系统、服务平台等数据交换。 按照数据接口模型构建的XML Schema示例见附录B。 7.3.3 资源文件数据交换 以文件、图片、视频等方式实现数据资源交换，适用于非结构化资源或更新频率比较缓慢的结构化资源的数据交换。 7.4 数据交换内容 特种设备大数据平台交换的数据，需满足安全监管、行业发展、信息追溯及公共服务要求，应符合TSG Z0002关于主题数据库内容的要求。 DB37/T 42342020 6 8 数据交换安全要求 数据交换安全要求包括但不限于： a) 身份认证。应对数据交换双方进行身份鉴别或设备认证； b) 授权控制。应对使用方数据交换操作进行授权检查，并执行访问控制； c) 安全传输。应保证通信过程中数据的安全性和完整性，并定期检查数据传输的可靠性； d) 过程追溯。应跟踪和记录数据交换过程，数据交换记录日志应保存 6 个月以上。 9 数据质量保障要求 数据质量保障要求包括但不限于： a) 接口模拟测试。测试各种接口访问权限、授权控制、数据传输的安全性； b) 数据模拟测试。测试数据格式、数据内容的正确性； c) 系统模拟测试。建立模拟系统，测试数据交换的正确性； d) 正式系统切换。在各种测试通过后，正式切换到正式系统。 DB37/T 42342020 7 A A 附录A （资料性） 数据接口规范 JSON Schema 示例 以“山东省特种设备安全监督管理系统”为例交换特种设备注册登记数据的JSON Schema格式为： $schema: http:/json-schema.org/draft-07/schema#, $id: http:/ title: seda, description: 特种设备信息描述, type: object, properties: seCode: description: 设备注册代码, type: string , seType: description: 设备种类, type: string, , seName: description: 设备名称, type: string , useUnit: description: 使用单位, type: string, , useAddress: description: 使用地址, type: string, ， required: seCode, seType, seName, useUnit, useAddress DB37/T 42342020 8 B B 附录B （资料性） 数据接口规范 XML Schema 示例 以“山东省特种设备安全监督管理系统”为例交换特种设备注册登记数据的 XML Schema 格式为： 根元素 山东省特种设备安全监督管理系统 数据集合 DB37/T 42342020 9 数据 设备注册代码 设备种类 设备名称 DB37/T 42342020 10 使用单位 使用地址