DB54_T 0291-2023高原地区+智慧视频系统+架构要求 (1).docx

ICS 33.160.4054CCS L90西藏自治区地方标准DB 54/T 02912023高原地区 智慧视频系统 架构要求2023 - 03 - 01 发布2023 - 06 - 01 实施西藏自治区市场监督管理局发 布DB 54/T 02912023目次前言III1 范围12 规范性引用文件13 术语和定义14 技术要求25 高原地区智慧视频系统设计25.1 总述25.2 智慧监控平台25.2.2 数据处理系统35.2.3 智慧分析系统35.3 智慧识别算法库45.4 用户访问接口45.4.1 用户注册及身份认证45.4.2 权限设置45.4.4 远程控制45.4.5 视频操作功能45.4.6 语音功能45.4.7 报警功能46 指标要求56.1 功能要求56.1.1 目标识别功能56.1.2 目标追踪功能56.1.3 语义分割功能56.1.4 异常识别功能56.1.5 数据质量分析功能56.2 性能要求56.2.1 识别精度56.2.2 反应时间66.3 稳定性要求66.4 可靠性要求66.4.1 信息保护机制66.4.2 系统紧急恢复机制66.4.3 运行时安全状态信息66.5 可维护性要求66.5.1 可维护性要求概述66.5.2 运行状态监控67 功能评测6III7.1 评估方法概述67.2 功能评测77.2.1 目标识别功能77.2.2 目标追踪功能77.2.3 语义分割功能77.2.4 异常识别功能77.2.5 视频质量分析功能87.3 性能评测87.3.1 识别精度87.3.2 反应时间87.4 稳定性8前言本文件按照GB/T 1.12020标准化工作导则 第1部分：标准化文件的结构和起草规则的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由西藏大学提出，西藏自治区标准化研究所归口。本文件起草单位：西藏大学。本文件主要起草人：董志诚、宋歌、周吉祥、张勇、蔡东洪。DB 54/T 02912023高原地区 智慧视频系统 架构要求1 范围本文件对高原地区智慧视频系统的设计要求、技术要求、指标要求和评测方法等进行了定义和描述。 本标准适用于高原地区智慧视频系统的建设。2 规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB 50348 安全防范工程技术规范GB/T 20271 信息安全技术信息系统通用安全技术要求GB/T 25000.51 系统与软件工程系统与软件质量要求和评价(SQuaRE) 第 51 部分: 就绪可用软件产品（RUSP）的质量要求和测试细则3 术语和定义下列术语和定义适用于本文件。3.1图像质量 image quality图像信息的完整性，包括图像帧内对原始信息记录的完整性和图像帧连续关联的完整性。它通常按 照如下的指标进行描述：像素构成、分辨率、信噪比、原始完整性等。3.2目标 target图像中需要分析、检测或识别的对象。3.3目标识别 target recognition一个特殊目标（或一种类型的目标）从其它目标（或其它类型的目标）中被区分出来的过程。它既 包括两个非常相似目标的识别，也包括一种类型的目标同其他类型目标的识别。3.4目标检测 object detection找出图像中所有感兴趣的目标，确定它们的类别和位置。3.5行为识别 action recognition 对目标的行为进行分类。示例：聚集、跑步、跳跃、摔倒等。3.6小目标 small target目标的尺寸小于原图的0.12%或者尺寸小于3232像素的目标。103.7卷积神经网络 convolutional neural network一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，也被称为“平移不变人工神经网络”。3.8智慧视频系统 smart video system运用深度学习技术，有效地整合视频监控系统，对目标及其行为进行智能识别和监控，对异常立即 响应，实现视频监控智能化的系统。3.9语义分割 semantic segmentation像素级地识别图像，即识别出图像中每个像素所属的对象类别。3.10智慧识别算法 intelligent recognition algorithm自动地对图像或视频数据做出各种处理、分析，并准确地识别出目标的算法。3.11多模态数据 multimodal data由两种或两种以上来源或形式组成的数据。示例：图像、视频、声音和其他物理信号等。4 技术要求高原地区智慧视频系统搭建的过程中宜根据数据的质量选择合适的以及训练策略。在智慧识别算法 和训练策略的选择过程中宜考虑以下内容：a) 数据质量的适应性。所选择的智慧识别算法和训练策略宜适应不同质量的数据，通过模型的迁移，利用高原特有的数据进行模型优化实现高原特有环境下的智慧识别。b) 数据源端的适应性。高原地区恶劣的环境导致很难采用单一源端进行数据的采集，因此选择的智慧识别算法和训练策略宜具备数据源端的适应性。c) 目标尺度的适应性。所选择的智慧识别算法和训练策略宜具备较强的目标尺度适应性，能有效、智慧地识别出视频、图像中的不同尺寸的目标。5 高原地区智慧视频系统设计5.1 总述高原地区智慧视频系统建设除了遵循第四章节中的通用要求外，还宜综合考虑高原数据质量的特异性以及任务本身的要求和特点，相关的智慧算法宜具有很好的稳定性和适应性，能有效地满足在非限定环境视频检测的需求。高原智慧边防视频监控平台的建设应符合GB 50348要求。整个智慧边防视频智慧系统的设计宜包括：1）智慧监控平台；2）智慧识别算法库；3）用户访问接口。整体框架如图1 所示。图 1 高原地区智慧视频系统架构要求5.2 智慧监控平台智慧监控平台是高原地区智慧视频系统的核心部分组成部分,平台通过对多模态的数据分析，利用智慧识别、智慧分割、智慧追踪和智慧检测算法，实现对高原恶劣环境下的目标进行识别、检测和追踪， 对一些行为进行判断分析，进而实现智慧监控。智慧监控平台的设计宜满足以下要求：5.2.1 多模态数据融合多模态数据处理时宜考虑以下内容：a) 提供丰富的设备类型接入，保证不同模态的数据能正常的传输。同时提供其他平台互联互通的多种对接方式，建立云平台接入服务，确保海量接入能力。b) 统一数据流的格式，建立负载均衡机制，实现多模态数据的有效接入。c) 提供多模态数据融合标准，建立标准的数据接口、业务接口和逻辑规范，保证各模块、各模态的数据之间能实现高效的通讯。d) 提供统一的维护系统，对于异常的服务提供自动化或者半自动话的修复，对融合过程出现的异常能进行自动处理或者半自动的处理，对出现的错误能及时的报警。5.2.2 数据处理系统数据处理系统是数据质量控制的关键，在设计时宜考虑以下内容：a) 完整的数据维护机制，实现对数据采集设备在线率、完好率，设备信息完整性等业务功能的监控。b) 完善的数据质量评估系统，实现对数据质量的有效监控。发现数据的质量无法满足任务的需求宜立即报警。c) 完善的数据预处理标准。建立一套适用于不同场景、不同任务以及不同模态数据的预处理机制，能有效的对数据进行缺失值处理、去噪处理、拼接处理、归一化处理等功能。5.2.3 智慧分析系统智慧分析系统是整个智慧系统的核心，负责相关目标识别、目标追踪、异常检测、行为检测等功能 的实现，在设计时宜考虑以下内容：a) 具备目标识别、目标追踪、目标重定位、行为识别以及复杂场景下小目标识别的功能。能通过对相关数据的风险实现对监测环境中可疑目标的定位、追踪以及对一些事件的判断。b) 具备多模态数据处理能力。系统通过对不同模态的数据、协调不同设备的数据来完成非限定场景下的目标识别、行为识别、目标追踪等功能。c) 具备实时的数据处理功能。实时性是智慧边防的关键，因此在相关检测、追踪算法的选择上在结合准确性的同时宜有效的提高算法的检测效率，实现实时的检测。d) 具有可靠性。高原恶劣环境对智慧分析系统的可靠运行具有极大挑战，因此在系统的设计宜具有多级缓存、多级备份、容灾和同步功能，保证智慧分析平台的稳定运行。e) 宜具有安全管理保障能力。高原地区自然环境复杂，场景多样，因此系统宜具有分级权限设定功能，为系统的稳定运行以及场景应用提供安全管理保障。f) 宜具有稳定性和鲁棒性。系统平台对目标的识别、跟踪以及检测功能宜具有稳定性鲁棒性， 能够适应复杂多变的场景以及恶劣的环境。对于不同层级的目标都宜具有很好的检出效果， 尤其是对于边防任务中经常面临的小目标检测困难问题也宜有较好的检测。g) 宜具有报警功能。系统平台宜能够根据检测系统返回的数据分析相关装置是否正常工作，当发现相关装置异常时宜立刻报警，提示人员去现场查看和维护。h) 宜具有自我检测和恢复功能。系统平台宜能对平台受损情况进行自检，对受损程度进行评估， 对于软件层面的受损平台本身宜具备自我修复能力，对于硬件层面的损伤，平台宜立即进行报警，指导维护人员对损害位置进行维护。5.3 智慧识别算法库智慧识别算法库是智慧视频系统的核心，是实现目标检测、目标追踪、异常预警等功能的关键，在 设计过程中宜考虑以下内容：a) 功能适应性。高原地区智慧视频系统宜包含以下智能算法：语义分割、目标追踪、目标检测、 异常检测、姿态估计等。b) 数据质量适应性。高原特有的恶劣环境，导致其采集的数据和平原地区采集的数据具有较大的差异因此，高原地区智慧视频系统所包含的检测算法宜满足章节 4 中要求的相关适应性， 以实现高原地区与平原地区的差异化设计。c) 识别准确性。所选择的智慧识别算法宜满足相关任务对准确性的要求，例如目标识别和定位精度不低于 80%，对目标的跟踪精度不低于 75%。d) 识别的稳定性。所选择的智能识别算法宜满足稳定性需求，能保证连续运行且精度不降低。e) 识别的实时性。高原地区智慧视频系统的是通过智慧识别算法来进行目标的检测、目前追踪等以达到异常的预警功能因此所选择的智慧识别算法在满足识别的准确性和稳定性的基础上还宜具备实时性。5.4 用户访问接口5.4.1 用户注册及身份认证具备用户注册功能，对多媒体终端用户身份进行合法认证。5.4.2 权限设置具备权限设置功能，不同层级的用户拥有不同的访问权限。5.4.3 用户访问接口界面具有直观、友好、简洁的中文人机交互界面；具有视频画面分割显示、信息提示等处理功能；能反 应自身的运行情况，对正常、报警、故障等状态给出指示。5.4.4 远程控制用户访问接口的远程控制功能如下：a) 通过手动或自动操作，对前端设备进行调节。设定控制的优先级，对级别高的用户的请求宜保证优先响应。可提供对前端设备进行独占性控制的锁定及解锁功能，锁定和解锁方式可设定。b) 对指定监控点进行图像的实时点播，支持点播图像的显示、抓拍和录像。5.4.5 视频操作功能用户访问接口的视频操作功能如下：a) 按照指定监控点、时间、报警信息等要素检索历史图像进行回放和下载。支持正常播放、快速播放、慢速播放、逐帧进退、画面站厅、图像抓拍等回放控制功能。b) 支持手动切换、单画面定时切换、全屏多画面切换和报警联动切换等视频显示切换。5.4.6 语音功能支持对前端监控点进行双向对讲及语音广播功能。5.4.7 报警功能支持报警功能，一旦用户身份验证无法通过，系统立即报警并记录下操作者的面部图像特征、操作 的时间地点等信息。6 指标要求6.1 功能要求6.1.1 目标识别功能高原地区智慧视频系统宜具备目标识别功能：a) 能够完成多种不同目标的识别，能实现小目标、群体事件、敏感/关键目标等目标识别任务。b) 识别算法宜具备稳健性，能够适应恶劣环境以及不同场景的识别任务。恶劣环境包含：大风天气、雨雪天气、雷雨天气、强辐射天气、沙尘天气等。6.1.2 目标追踪功能高原地区智慧视频系统宜具有目标跟踪功能，例如目标定位、目标跟踪等。6.1.3 语义分割功能高原地区智慧视频系统宜具备语义分割功能，例如缺陷检测、小目标分割等。6.1.4 异常识别功能高原地区智慧视频系统宜具备异常识别功能，例如入侵识别、行为异常识别等。6.1.5 数据质量分析功能高原地区智慧视频系统宜具备对视频的噪音检测、画面抖动异常检测、信号丢失检测等功能。6.2 性能要求6.2.1 识别精度a) 在高原恶劣环境下对不同场景下目标识别精度不低于 80%，采用重叠度（intersection over union, IoU）来计算目标识别精度。识别精度 =(1)+式中： 表示智慧视频系统检测的结果； 表示人工识别的结果。b) 对目标的跟踪精度不低于 75%。识别的场景宜不低于 10 个，对目标的追踪不低于 1 分钟。=追踪精度 (2)式中： 第帧预测结果对应的边界框； 第帧人工标注结果对应的边界框。c) 语义分割的精度不低于 85%，采用 Dice 相似系数（Dice Similarity Coefficient, DSC）来计算语义分割精度。语义分割精度 = ()(3)+式中： 表示智慧视频系统检测的结果， 表示人工识别的结果。6.2.2 反应时间检测检测和识别算法的速度宜大于40帧/秒，平台接口读入数据频率不低于10000次/秒。6.3 稳定性要求平台宜保持7x24小时的稳定运行，系统连续稳定运行不低于6个月，不出现系统崩溃或者性能降低的情况。6.4 可靠性要求6.4.1 信息保护机制系统宜对视频内容进行严格鉴权，包括异常行为、危险行为、敏感目标，管理员只能在授权范围内 进行视频查看。且宜采用加密算法对视频数据进行加密，具备视频信息保护机制。6.4.2 系统紧急恢复机制由厂家提供相关材料对系统紧急恢复时间进行说明。6.4.3 运行时安全状态信息系统能够支持提供运行时安全状态信息，包括运行崩溃信息等。6.5 可维护性要求6.5.1 可维护性要求概述系统宜具备可维护性，符合GB/T 25000.51 中相关技术要求，重点考核运行状态监控。6.5.2 运行状态监控系统宜支持运行状态监控，包括系统运行时动态性能信息、意外失效和重要条件的信息、运行指示 器（如日志、警告屏）的信息和处理本地数据的信息等。7 功能评测7.1 评估方法概述高原地区智慧视频系统的测评方法包括材料检查和技术测试两类测评方法，具体如下：a) 材料检查：对指标的说明文档或证明文档进行查看。b) 技术测试：指使用预定的方法/工具使测评对象产生特定的结果，将运行结果与预期的结果进 行比对验证的过程。7.2 功能评测对10种自然条件下和20种场景下的视频数据进行分析，测试智慧视频系统的目标识别功能、目标追 踪功能、语义分割功能和异常识别功能。示例 1：10 种自然条件，大风、大雾、强光照、弱光照、暴雨、高温、低温、降雪、降雹、雷暴。示例 2：20 种场景，主干道、支路、快速路、高速路、乡村道路、公园、游乐场、商业中心、居民社区、学校、集会中心、火车站、地铁站、客运站、物流中心、加油站、建筑工地、产业园区、边境、海关。7.2.1 目标识别功能对不同装置（可见光、红外摄像头等）采集的视频数据进行分析、测试，判定目标识别功能是否符 合6.1.1的要求，评测方法如下：a) 不同自然环境下目标识别。对 10 种自然条件下的 500 套视频数据进行分析（每种自然条件下的视频数量不低于 30 套），识别目标种类不低于 100 类。计算每一类目标的识别精度，判断是否符合 6.2.1 的精度要求。b) 不同场景下的目标识别。对 20 种场景下的 800 套视频数据进行分析（每种场景下的视频数量不低于 30 套），识别目标不低于 100 类。计算每一类目标的识别精度，判断是否符合 6.2.1 的精度要求。7.2.2 目标追踪功能对不同装置（可见光、红外摄像头等）采集的视频数据进行分析、测试，判定追踪功能是否符合6.1.2 的要求，评测方法如下：a) 不同自然环境下目标追踪。对 10 种自然条件下的 500 套视频数据进行分析（每种自然条件下的视频数量不低于 30 套），追踪目标的种类不低于 100 类，视频分析时长不低于 1 分钟。计算每一类目标的追踪精度，判断是否符合 6.2.1 的精度要求。b) 不同场景下目标追踪。对 20 种场景下的 800 套视频数据进行分析（每种场景下的视频数量不低于 30 套），追踪目标的种类不低于 100 类，视频分析时长不低于 1 分钟。计算每一类目标的追踪精度，判断是否符合 6.2.1 的精度要求。7.2.3 语义分割功能对不同装置（可见光、红外摄像头等）采集的视频数据进行分析、测试，判断目标语义分割功能是 否符合6.1.3的要求，评测方法如下：a) 不同自然环境下语义分割。对 10 种自然条件下的 500 套视频数据进行分析（每种自然条件下的视频数量不低于 30 套），语义分割的种类为 100 类。计算每一类的语义分割精度，判断是否符合要求 6.2.1 的精度要求。b) 不同场景下语义分割。对 20 种场景下的 800 套视频数据进行分析（每种场景下的视频数量不低于 30 套），语义分割的种类为 100 类，计算每一类的语义分割精度，判断是否符合 6.2.1 的精度要求。7.2.4 异常识别功能对不同装置（可见光、红外摄像头等）采集的视频数据进行分析、测试，判断异常识别功能是否符 合6.1.4的要求，评测方法如下：a) 不同自然环境下异常识别。对 10 种自然条件下的 500 套视频数据进行分析（每种自然条件下的视频数量不低于 30 套），异常识别种类为 80 类。计算每一类异常的目标识别精度，判断是否符合 6.2.1 的精度要求。b) 不同场景下异常识别。对 20 种场景下的 800 套视频数据进行分析（每种场景下的视频数量不低于 30 套），异常识别种类为 80 类。计算每一类异常的目标识别精度，判断是否符合 6.2.1 的精度要求。7.2.5 视频质量分析功能对采集的视频数据进行质量分析，分析是否存在强光照造成的过曝问题；恶劣的强风或者风沙天气导致图像抖动模糊问题；大雾、风沙导致的图像质量差不清晰等问题。此外还需从亮度、偏色、信噪比、 清晰度等多个方面判断上述问题对图像质量的影响程度，判断采集的图像质量是否符合6.1.5的要求。7.3 性能评测7.3.1 识别精度在不同场景下不同大小的目标进行检测和追踪，判定是否符合6.2.1的要求。7.3.2 反应时间平台接口读入数据频率，系统连续稳定运行时间进行测试，判定是否符合6.2.2的要求。7.4 稳定性开启待测产品进行24小时不间断的工作，判定结果是否符合6.3的要求。