DB54_T 0290-2023高原地区+多源异构数据+采集要求.docx

ICS 35.24054CCS L70西藏自治区地方标准DB 54/T 02902023高原地区 多源异构数据 采集要求2023 - 03 - 01 发布2023 - 06 - 01 实施西藏自治区市场监督管理局发 布DB 54/T 02902023目次前言II引言III1 范围12 规范性引用文件13 术语和定义14 多源异构数据采集系统概述15 数据采集25.1 数据采集过程25.2 数据采集地点和采集种类25.3 数据采集系统设计25.4 数据采集系统的高原环境适应性36 数据传输和存储36.1 数据传输和存储系统设计36.2 数据传输和存储系统的高原环境适应性3III前言本文件按照GB/T 1.12020标准化工作导则 第1部分：标准化文件的结构和起草规则的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由西藏大学提出，西藏自治区标准化研究所归口。本文件起草单位：西藏大学、电子科技大学。本文件主要起草人：董志诚、杨阳、位纪伟、徐行、周恩治、汪政。引言随着适用于高原地区的智能传感器的快速发展，数据正以前所未有的速度增长和积累。有效的对高 原地区多源异构数据进行采集、传输和存储是大数据分析和挖掘的关键步骤。高原地区多传感器，多平台监控是有效提升监控效率以及性能的重要手段。然而，如何将多源异构数据进行高效的分析利用，是多传感器、多平台监控面临的难题。本标准针对高原环境下（如强光照、高严寒、强风沙等），基于多传感器（红外、可见光、雷达波等），多平台（无人机、地面监控）获取的数据，规范高原环境下数据采集、传输和存储要求，从而实现多传感器、多平台异构信息的高效利用。本文件的起草单位经过现场调查研究，认真总结实践经验，针对西藏自治区的自然气候条件，在广 泛征求意见的基础上完成了文件编制。DB 54/T 02902023高原地区 多源异构数据 采集要求1 范围本文件规定了高原地区多源异构数据的采集、传输和存储的标准。 本文件适用于高原地区多源异构数据的采集、传输和存储。2 规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T 11804 电工电子产品环境条件-术语GB/T 18459 传感器主要静态性能指标计算方法GB/T 22239 信息安全技术 网络安全等级保护基本要求GB/T 25724 公共安全视频监控数字视音频编解码技术GB/T 28181 公共安全视频监控联网系统信息传输、交换、控制技术要求GB/T 35295 信息技术 大数据 术语GB/T 36100 机载激光雷达点云数据质量评价指标及计算方法GB/T 36625.1 智慧城市 数据融合 第1部分：概念模型GB/T 36625.3 智慧城市 数据融合 第3部分：数据采集规范GB/T 37025 信息安全技术 物联网数据传输安全技术要求GB 37300 公共安全重点区域视频图像信息采集规范GB/T 37722 信息技术 大数据存储与处理系统功能要求3 术语和定义GB/T 11804、GB/T 35295、GB/T 36625.1、GB/T 36625.3界定的以及下列术语和定义适用于本文件。3.1高原地区多源异构数据 multi-source heterogeneous data in plateau areas高原地区多种来源、不同类型、不同结构的数据统称。3.2多源异构数据采集系统 multi-source heterogeneous data collection system实现高原地区多源异构数据采集、传输、存储的硬件和软件的集合。4 多源异构数据采集系统概述4.1 多源异构数据采集系统包含原始数据采集、数据传输以及数据存储系统。4.2 原始数据采集系统从采集地点获取多种类型的数据。数据经过传输后汇聚形成数据集，存储在数据系统中。4.3 数据传输系统通过无线或有线的方式传输采集的原始数据。44.4 数据存储系统对原始数据进行预处理并进行数据融合。图 1 多源异构数据采集系统概述5 数据采集5.1 数据采集过程5.1.1 高原地区多源异构数据采集是利用各种数据采集装置采集数据并进行质量控制等操作的过程。5.1.2 高原地区多源异构数据采集过程宜包括：a) 数据源选择：明确数据采集地点和数据种类；b) 采集方式选择：通过分析数据源类型，确定数据采集方式；c) 数据标准化以及有效性分析：对采集的原始数据进行标准化处理，确保数据时效性，完整性。5.2 数据采集地点和采集种类5.2.1 数据采集地点数据采集地点应根据采集需求进行选择。5.2.2 多源异构数据种类表1对多源异构数据的种类进行了总结，采集数据种类可能包括但不限于所给的数据种类。表 1 多源异构数据种类多源异构数据种类说明视频数据连续视频流和视频片段图像数据单帧视频和图片音频数据和视频信息相关联的音频雷达数据目标点迹信息（包含但不限于目标的距离、方位和俯仰值）传感器数据包括但不限于位置、速度、温度、湿度、压力等物体或环境状态信息关联数据和数据种类1至5相关联的信息，包括但不限于GB/T 28181和GB/T 25724中规定的设备信息、地理信息、绝对时间信息等5.3 数据采集系统设计5.3.1 数据采集系统设计的目标是高效获取高质量的多源异构数据。5.3.2 数据采集系统设计时宜对数据采集行为、采集数据内容进行评估，判断是否符合国家和地区法律法规要求。5.3.3 数据采集系统的设计宜考虑采集数据的真实性和完整性。5.3.4 数据采集系统的功能设计可参照 GB/T 36625.3 中 7.2.2 的系统采集功能进行。5.3.5 数据采集系统的安全性设计可参照 GB/T 22239 和 GB/T 36625.3 中的数据安全功能进行。5.3.6 对数据质量的控制参照 GB/T 36625.3 规定的数据质量控制原则执行，采集的数据宜满足以下质量指标：a) 视频数据、图像数据和音频数据满足 GB 37300 中所述质量指标；b) 雷达数据满足 GB/T 36100 中所述质量指标；c) 传感器采集数据满足 GB/T 18459 中所述质量指标。5.4 数据采集系统的高原环境适应性5.4.1 高原地区地理环境复杂，气候条件恶劣，针对高原地区的地理和气候条件采取针对性措施对于实现高效高质量的数据采集至关重要。5.4.2 针对高原地区的地理和气候条件，设计数据采集系统时宜考虑以下措施：a) 针对大温差、低气压、高紫外线照射环境的保护措施；b) 应对大风天气条件的防抖动功能；c) 针对大雨、大雪、冰雹、沙尘暴、雷电等气候条件的保护措施；d) 针对大雨、大雪、大雾、尘雾等气候条件的数据采集增强；e) 针对低光照、强光照、逆光、强紫外线等环境的数据采集增强；f) 抗信号干扰。5.4.3 高原地区电力资源稀缺、能源供应不稳定、网络基础设施建设不足，高原地区特殊的能源和网络条件是数据采集设计中需考虑的重要因素。5.4.4 针对高原地区的能源和网络条件，设计数据采集系统时宜考虑以下措施：a) 基于事件触发的数据采集；b) 适合高原电力供应特征的节能保电方案；c) 感知能源供应和网络传输状态，结合应用需求对同一目标的多源异构数据进行冗余数据去除；d) 根据电力供应情况自适应调整数据采集质量。e) 支持采集作业管理和调度，采集系统宜支持对作业启动、停止、暂停、恢复等操作。6 数据传输和存储6.1 数据传输和存储系统设计6.1.1 数据传输和存储系统设计的目标是高效安全地传输和存储数据。6.1.2 数据传输系统宜同时具备在有线、无线通信网络中的数据传输功能。6.1.3 数据传输和存储系统宜具备对各类格式的数据进行编码、传输和存储的功能。6.1.4 对数据传输和存储系统进行设计时建议参照以下标准：a) 对多源异构数据的标识符编码可遵循 GB/T 36625.3 中的数据编码规范；b) 数据传输的安全性设计可参照 GB/T 37025 所述的安全技术；c) 数据存储功能设计可参照 GB/T 37722 中规定的大数据存储子系统功能。6.2 数据传输和存储系统的高原环境适应性6.2.1 数据传输和存储系统设计应考虑高原地区电力资源保障不稳定、通信基础设施部署不均衡，数据安全性不高等重要因素。6.2.2 针对高原地区的特殊条件，数据传输和存储系统宜采取以下措施：a) 数据传输时根据网络传输状态对采集数据进行自适应编码压缩；b) 数据传输针对网络状况不稳定的情况采取数据传输增强算法；c) 数据传输和存储系统采取抗干扰、防止物理破坏、防止数据窃取和篡改的措施；d) 数据存储子系统对数据进行自适应压缩、减少存储空间需求；e) 数据存储具有冗余性，可恢复丢失数据。6.2.3 针对高原地区特殊的地理和气候环境，在进行多源异构数据预处理和融合时宜采取以下措施：a) 数据处理算法具备轻量化、复杂度低的特点，对存储空间需求、计算能力需求和能源消耗进行针对性优化；b) 数据的融合可采用基于模型无关的融合方式或基于模型的融合方式，其中模型无关的融合包括特征级融合和决策级融合。