DB45∕T 2715-2023 公路车辆影像分析测试与评分技术规程(广西壮族自治区).pdf

ICS 03.220.20 CCS R 80 45 广西壮族自治区地方标准 DB45/T 27152023 公路车辆影像分析测试与评分技术规程 Technical regulations for road vehicle image analysis testing and scoring 2023-08-10 发布 2023-09-30 实施 广西壮族自治区市场监督管理局 发 布 DB45/T 27152023 I 目次 前言.II 1 范围.1 2 规范性引用文件.1 3 术语和定义.1 4 测试目的、对象和原则.2 4.1 测试目的.2 4.2 测试对象.2 4.3 测试原则.2 5 测试流程.2 5.1 测试项目.2 5.2 整体流程.3 6 测试方法.6 6.1 测试内容.6 6.2 功能测试方法.6 6.3 性能测试方法.7 7 评分方法.8 7.1 评分指标.8 7.2 功能测试评分方法.9 7.3 性能测试评分方法.10 附录 A（规范性）车辆影像分类附表.12 附录 B（规范性）测试模板附表.15 参考文献.17 DB45/T 27152023 II 前言 本文件按照GB/T 1.12020标准化工作导则 第1部分：标准化文件的结构和起草规则的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由广西壮族自治区交通运输厅提出并宣贯。本文件由广西交通运输标准化技术委员会归口。本文件起草单位：广西交科集团有限公司。本文件主要起草人：陈静、马高琳、陆璐、刘彬、梁杏、龙思颖、唐文娟、王玲容、兰良、陈鸷翱、梁莫柱、韦科宇、李秀琼、陈海军。DB45/T 27152023 1 公路车辆影像分析测试与评分技术规程 1 范围 本文件界定了公路车辆影像分析测试与评分技术的术语和定义，规定了公路车辆影像分析测试项目、测试对象、测试原则、测试流程、测试方法和评分方法。本文件适用于广西壮族自治区行政区域内公路机动车辆影像分析测试与评分工作。2 规范性引用文件 本文件没有规范性引用文件。3 术语和定义 下列术语和定义适用于本文件。3.1 视频图像分析系统 video and image analysis system 对视频和图像进行分析及处理，识别视频和图像的内容，提升视频和图像质量，快速发现和定位关注信息的系统。来源：GA/T 1399.12017，3.1.1 3.2 车辆检测 vehicle detection 对视频图像中的机动车辆及其位置进行辨识。来源：GA/T 1399.12017，3.1.16，有修改 3.3 车辆基本特征识别 basic characteristic of vehicle recognition 对视频图像中机动车辆的车牌号码、颜色、车辆类型等进行辨识。来源：GA/T 1399.12017，3.1.17，有修改 3.4 正检 true positive 视频或图像中出现应该被正确检测或分类的目标或事件，且视频图像分析系统输出正确的检测结果。来源：GB/T 301472013，3.1.19 3.5 误检 false positive 视频或图像中未出现相应的目标或事件，但视频图像分析系统输出了检测结果。来源：GB/T 301472013，3.1.20 DB45/T 27152023 2 3.6 漏检 false negative 视频或图像中出现应该被检测的目标或事件，但视频图像分析系统未输出检测结果。来源：GB/T 301472013，3.1.21 4 测试目的、对象和原则 4.1 测试目的 确保测试结果对公路机动车辆影像分析系统、平台或算法给出客观定量的评价。4.2 测试对象 测试对象应包括具备公路机动车辆影像分析功能的系统、平台或算法。4.3 测试原则 4.3.1 实用性 车辆影像分析测试方法应能够产生积极效果。4.3.2 公平性 车辆影像分析测试方法应通过指定规则和指标进行比较。4.3.3 公正性 在测试过程中，应以客观的科学的测试数据为依据。4.3.4 一致性 在不同的测试环境对同一被测对象进行测试时，其测试结果应保持一致。5 测试流程 5.1 测试项目 5.1.1 功能测试项目 功能测试应至少支持以下项目中的一种或几种：a)车辆检测：对图像或视频中的车辆的位置用检测框标出，且能对视频中车辆位置进行跟踪；b)车辆基本特征识别：对图像或视频中的车辆进行识别，包含车牌号码、车辆颜色、车辆类型，车辆类型按附录 A 表 A.4；c)车辆数量分析：对图像或视频中的道路车流量、车辆类型分布统计；d)车辆行为分析：对视频中车辆行为的分析，包含车辆交通事件中的停车、逆行、变线、倒车、超速、抛洒物、碰撞、隧道火灾、隧道水灾，分类按附录 A 表 A.1；e)车辆行驶环境分析：对图像或视频中的车辆行驶环境识别，包含道路路面情况及天气情况，分类按附录 A 表 A.2 和表 A.3。DB45/T 27152023 3 5.1.2 性能测试项目 性能测试应支持以下项目中的几种：a)负载测试：评估被测对象在预期变化负载下的性能表现，具体见 6.3.2.1；b)压力测试：评估被测对象在指定容量负载下的性能表现，具体见 6.3.2.2；c)并发测试：评估被测对象在指定性能指标下的最大处理能力，具体见 6.3.2.3。5.2 整体流程 5.2.1 流程图 测试流程如图1所示。图1 测试流程图 DB45/T 27152023 4 5.2.2 测试申请 测试前，由测试需求方向测试机构提交测试申请。5.2.3 选取测试项目 由测试需求方选取测试项目。功能测试项目共5种，性能测试项目共3种，应符合5.1的一项或几项。5.2.4 申请审核 测试机构对测试需求方提交的测试申请进行审核。5.2.5 测试大纲 测试机构根据测试需求方所选取的测试项目，编写测试大纲。5.2.6 测试准备 5.2.6.1 提供测试对象 由测试需求方向测试机构提供测试对象。5.2.6.2 数据源准备 5.2.6.2.1 测试机构应根据测试项目匹配数据源，具体格式要求如下：a)图像格式包括但不限于：1)CIF（352288）、4CIF（704576）、D1（720576）、720P（1 280720）、1 080P（1 9201 080）等分辨率；2)JPEG、JPEG2 000、BMP、PNG 等格式；b)视频格式包括但不限于：1)CIF（352 288）、4CIF（704 576）、D1（720 576）、720P（1 280720）、1 080P（1 9201 080）等分辨率的视频；2)PS、MP4、AVI、FLV 等视频封装格式；3)SVAC、H.264、H.265、MPEG-4 等视频编码格式。5.2.6.2.2 数据源符合以下要求：a)视频或图像应能识别出目标检测标的物；b)视频或图像应包含不同光照及气象条件下的拍照条件，如白天、黑夜、雨雪雾天气条件下的视频或图像；c)视频应包含车辆的整个运动流程；d)车辆行驶环境应包含周边道路的视频图像信息；e)数据规模应不少于 5 000 张。5.2.6.2.3 测试机构应对数据源进行标注，标注内容如表 1 所示。DB45/T 27152023 5 表1 数据源标注内容 序号 测试项目 数据类型 标注内容 1 车辆检测 图像/视频 车辆位置框 2 车辆基本特征识别 图像/视频 车辆位置框、车辆颜色类别、车辆类型 3 车辆数量分析 图像/视频 车辆位置框、车辆数量值（单位时间内）4 车辆行为分析 视频 车辆位置框、车辆行为类别 5 车辆行驶环境分析 图像/视频 环境类别 5.2.6.3 测试环境 测试机构应提供相适应的软硬件环境，测试环境如图2所示，测试环境的相关配置按附录B表B.1的要求。图2 测试环境示意图 5.2.7 测试 测试工作包括功能测试和性能测试，功能测试的测试方法按6.2，性能测试的测试方法按6.3。5.2.8 测试报告 测试机构对测试结果进行评分。功能测试的评分方法按7.2，性能测试的评分方法按7.3。完成评分工作后，测试机构应输出测试报告，功能测试报告的模板按附录B表B.2，性能测试报告的模板按附录B表B.3。DB45/T 27152023 6 6 测试方法 6.1 测试内容 各测试项目对应的测试内容见表2。表2 测试内容 序号 测试项目 测试内容 测试要求 图像 视频 1 车辆检测 目标检测 能用检测框标出 能用检测框标出并跟踪位置 2 车辆基本特征识别 车牌号码识别 能识别 能识别 车辆颜色识别 能识别 能识别 车辆类型识别 能识别，类型按 附录 A 表 A.4 能识别，类型按附录 A 表 A.4 3 车辆数量分析 车流量统计 能统计 能统计 车辆类型分布统计 能统计，类型按 附录 A 表 A.4 能统计，类型按附录 A 表 A.4 4 车辆行为分析 交通事件识别 无 能识别，类型按附录 A 表 A.1 5 车辆行驶环境分析 道路天气情况分类 能识别，类型按 附录 A 表 A.2 能识别，类型按附录 A 表 A.2 路面状态分类 能识别，类型按 附录 A 表 A.3 能识别，类型按附录 A 表 A.3 6 负载测试 模拟真实场景下测试对象的运行状况 功能测试正常，且测试对象运行正常 7 压力测试 在 CPU 占用率 50、60、70、80 的前提下，测试对象的运行状况 功能测试正常，且测试对象运行正常 8 并发测试 在满足 1 万个测试数据体量以及 CPU 占用率不超过 70 的前提下，测试对象的运行状况 功能测试正常，且测试对象运行正常 6.2 功能测试方法 6.2.1 测试条件 根据5.2.6准备相应测试条件。6.2.2 测试步骤 DB45/T 27152023 7 测试步骤如下：a)任务启动；b)通过流媒体服务器将数据流实时输出至测试服务器；c)测试对象在测试服务器内进行测试；d)测试服务器输出结果至分析服务器，分析服务器输出评分指标结果。6.2.3 返回结果 输出测试报告，报告模板按附录B表B.2。6.2.4 评分 根据评分标准进行评分，指标参照表3。6.3 性能测试方法 6.3.1 测试条件 根据5.2.6准备相应测试条件。6.3.2 测试步骤 6.3.2.1 负载测试 测试步骤如下：a)任务启动；b)流媒体服务器模拟真实场景将实时数据流输出至测试服务器；c)测试对象在测试服务器进行测试；d)记录处理时间、CPU 占有率、内存占有率等相关指标；e)分析服务器输出评分指标结果。6.3.2.2 压力测试 分别测试CPU占用率在50、60、70、80，观测测试对象是否正常运行并评分。6.3.2.3 并发测试 在满足1万个测试数据体量以及CPU占用率在不超过70 的前提下，并发执行负载测试，观测测试对象的检测效率并评分。6.3.3 返回结果 输出测试报告，报告模板按附录B表B.3。6.3.4 评分 根据评分标准进行评分，指标参照表4。DB45/T 27152023 8 7 评分方法 7.1 评分指标 7.1.1 准确率（Precision）视频或图像检测系统输出目标或事件后，按照式（1）进行计算。=100%(1)式中：正检数,即被系统正检的目标或事件的数目；误检数,即被系统误检的目标或事件的数目。7.1.2 召回率（Recall）视频或图像检测系统输出目标或事件后，按照式（2）进行计算。=100%(2)式中：正检数，即被系统正检的目标或事件的数目；漏检数，即被系统漏检的目标或事件的数目。7.1.3 交并比（IoU）视频或图像检测系统输出目标后，按照式（3）进行计算。=1212 (3)式中：1 2检测框1与标注框2的交集面积；1 2检测框1与标注框2的并集面积。7.1.4 平均准确率（AP）视频或图像检测系统输出目标后，按照式（4）进行计算。=()d10 (4)式中：()不同召回率下对应的准确率。7.1.5 平均准确率均值（mAP）视频或图像检测系统输出目标后，按照式（5）进行计算。=1 (5)式中：DB45/T 27152023 9 数据源中包含的所有类别的总数；第个类别对应的平均准确率。7.1.6 R2 分数（R2-score）视频或图像检测系统输出数量后，按照式（6）进行计算。2=1()2=1()2=1 (6)式中：2R2分数；第个样本中检测出的目标数量值；第个样本中的真实目标数量值；所有样本的真实目标数量值的平均值；样本个数。7.1.7 每秒帧率（FPS）单位时间内处理的图像数量或视频帧数。7.2 功能测试评分方法 根据6.2功能测试方法，输出测试报告，报告根据测试项目按照表3输出评分指标及评分结果。表3 功能测试评分方法 测试项目 评分指标 评分标准（满分为 5 分）（白天或晴天）评分标准（满分为 5 分）（黑夜或阴雨雪雾天）条件 得分值 条件 得分值 车辆检测 mAP 和 IoU min(,)0,0.5)0 min(,)0,0.4)0 min(,)0.5,0.6)1 min(,)0.4,0.5)1 min(,)0.6,0.7)2 min(,)0.5,0.6)2 min(,)0.7,0.8)3 min(,)0.6,0.7)3 min(,)0.8,0.9)4 min(,)0.7,0.8)4 min(,)0.9,1 5 min(,)0.8,1 5 车辆基本特征识别 准确率(Precision)、召回率(Recall)、mAP min(,)0,0.5)0 min(,)0,0.4)0 min(,)0.5,0.6)1 min(,)0.4,0.5)1 min(,)0.6,0.7)2 min(,)0.5,0.6)2 min(,)0.7,0.8)3 min(,)0.6,0.7)3 min(,)0.8,0.9)4 min(,)0.7,0.8)4 min(,)0.9,1 5 min(,)0.8,1 5 DB45/T 27152023 10 3 功能测试评分方法（续）测试项目 评分指标 评分标准（满分为 5 分）（白天或晴天）评分标准（满分为 5 分）（黑夜或阴雨雪雾天）条件 得分值 条件 得分值 车辆数量分析 R2分 数(R2)R2 0 0 R2 0 0 0 R2 0.35 1 0 R2 0.2 1 0.35 R2 0.6 2 0.2 R2 0.4 2 0.6 R2 0.75 3 0.4 R2 0.6 3 0.75 R2 0.9 4 0.6 R2 0.75 4 0.9 R2 1 5 0.75 R2 1 5 车辆行为分析 准确率(Precision)、召回率(Recall)、mAP min(,)0,0.5)0 min(,)0,0.4)0 min(,)0.5,0.6)1 min(,)0.4,0.5)1 min(,)0.6,0.7)2 min(,)0.5,0.6)2 min(,)0.7,0.8)3 min(,)0.6,0.7)3 min(,)0.8,0.9)4 min(,)0.7,0.8)4 min(,)0.9,1 5 min(,)0.8,1 5 车辆行驶环境分析 准确率(Precision)、召回率(Recall)、mAP min(,)0,0.5)0 min(,)0,0.4)0 min(,)0.5,0.6)1 min(,)0.4,0.5)1 min(,)0.6,0.7)2 min(,)0.5,0.6)2 min(,)0.7,0.8)3 min(,)0.6,0.7)3 min(,)0.8,0.9)4 min(,)0.7,0.8)4 min(,)0.9,1 5 min(,)0.8,1 5 7.3 性能测试评分方法 在满足功能测试运行正常的前提下，根据 6.3 性能测试方法，输出测试报告，报告根据测试项目按照表 4 输出评分指标及评分结果。表 4 提供了使用单卡具有 12 TFLOPS 算力的 4 卡 GPU 服务器作为测试服务器下的性能指标。DB45/T 27152023 11 表4 性能测试评分方法 测试项目 测试步骤 评分指标 评分标准（满分为 5 分）条件 得分值 负载测试 执行6.3.2.1所示测试步骤 CPU 占用率（）、内存占用率（）、检测帧速率（）0 max,0.8,1 1 max,0.6,0.8)2 max,0.4,0.6)3 max,0.2,0.4)4 max,0,0.2)5 压力测试 执行6.3.2.2所示测试步骤 在 CPU 占用率50，60，70，80 前提下，记录检测帧速率（）0 0 2 1 2 4 2 4 6 3 6 8 4 8 5 并发测试 执行6.3.2.3所示测试步骤 检测帧速率（）0 0 2 1 2 4 2 4 6 3 6 8 4 8 5 注：为数据源视频的原始帧率。DB45/T 27152023 12 A A 附录A （规范性）车辆影像分类附表 A.1 交通事件分类 表A.1规定了交通事件的分类。表A.1 交通事件分类 车辆行为事件 ID 分类 图片或视频 1 车辆停车 视频 2 车辆逆行 视频 3 车辆变线 视频 4 车辆倒车 视频 5 车辆拥堵 视频 6 车辆超速 视频 7 车辆低速 视频 8 抛洒物 视频 9 车辆间碰撞 视频 10 车辆与固定物碰撞 视频 11 车辆火灾 视频 12 隧道火灾 视频 13 隧道水灾 视频 A.2 道路天气情况的分类 表A.2规定了道路天气情况的分类。表A.2 道路天气情况分类 道路环境 ID 分类 图片或视频 1 晴 图片 2 阴 图片 3 雨 图片 4 雪 图片 DB45/T 27152023 13 表 A.2 道路天气情况分类（续）道路环境 ID 分类 图片或视频 5 雾 图片 6 冰雹 图片 A.3 路面状态的分类 表A.3规定了路面状态的分类。表A.3 路面状态分类 路面状态 ID 分类 图片或视频 1 冰雪 图片 2 坑槽 图片 3 塌陷 图片 4 路障 图片 5 平整 图片 6 积水 图片 7 湿滑 图片 8 其他 图片 A.4 车辆分类测试项 表A.4规定了车辆分类测试项。表A.4 机动车辆分类测试项 序号 分类 说明 1 载客汽车 大型 车长大于或等于6 000 mm 或者乘坐人数大于或等于20人的载客汽车 2 中型 车长小于6 000 mm且乘坐人数为 1019 人的载客汽车 3 小型 车长小于6 000 mm且乘坐人数小于或等于9人的载客汽车，但不包括微型载客汽车 4 微型 车长小于或等于 3 500 mm 且内燃机气缸总排量小于或等于 1 000 mL（对纯电动 汽车为驱动电机总峰值功率小于或等于 15 kW）的载客汽车 5 载货汽车 重型 总质量大于或等于12 000 kg的载货汽车 6 中型 车长大于或等于 6 000 mm 的载货汽车，或者总质量大于或等于 4 500 kg 且小于12 000 kg 的载货汽车；但不包括重型载货汽车和低速货车 DB45/T 27152023 14 表 A.4 机动车辆分类测试项（续）序号 分类 说明 7 载货汽车 轻型 车长小于 6 000 mm 且总质量小于 4 500 kg 的载货汽车，但不包括微型载货汽车和低速汽车（三轮汽车和低速货车的总称）8 微型 车长小于或等于 3 500 mm 且总质量小于或等于 1 800 kg 的载货汽车，但不包括低速汽车 9 三轮（三轮汽车）以柴油机为动力，最大设计车速小于或等于 50 km/h，总质量小于或等于 2000kg，长小于或等于 4 600 mm，宽小于或等于 1 600 mm，高小于或等于 2 000 mm，具有三个车轮的货车。其中，采用方向盘转向、由传动轴传递动力、有驾驶室且驾驶 人座椅后有物品放置空间的，总质量小于或等于3 000 kg，车长小于或等于 5 200 mm，宽小于或等于 1 800 mm，高小于或等于 2 200 mm。三轮汽车不应具有专项作业的功能 10 低速（低速货车）以柴油机为动力，最大设计车速小于 70 km/h，总质量小于或等于 4 500 kg，长小于或等于 6 000 mm，宽小于或等于 2 000 mm，高小于或等于 2 500 mm，具有四个车轮的货车。低速货车不应具有专项作业的功能 11 专项作业车 专项作业车是指装置有专用设备或器具，在设计和制造上用于工程专项（包括卫生医疗）作业的汽车，如汽车起重机、消防车、混凝土泵车、清障车、高空作业 车、扫路车、吸污车、钻机车、仪器车、检测车、监测车、电源车、通信车、电视车、采血车、医疗车、体检医疗车等，但不包括装置有专用设备或器具而座位 数（包括驾驶人座位）超过 9 个的汽车（消防车除外）。专项作业车的规格分为 重型、中型、轻型、微型，具体按照载货汽车的相关规定确定 DB45/T 27152023 15 B B 附录B （规范性）测试模板附表 B.1 测试环境 表B.1规定了本文件的测试环境。表B.1 测试环境 序号 名称 功能 硬件环境 软件环境 1 流媒体服务器 提供数据源，应具备高并发实时流式分发的能力，能随机分发图像或视频 CPU：4 核心 2.6 GHz 或相同性能 内存：16 G 以上 硬盘：1 T 以上 操作系统：不限于 CentOS 7 流媒体服务：不限于 Helix 12 2 测试服务器 对被测系统软硬件进行测试，应具备功能和性能测试工具 CPU：4 核心 2.6 GHz 或相同性能 内存：16 G 以上 硬盘：500 G 以上 操作系统：不限于 CentOS 7 运行时库：不限于 Java 1.8 数据库：不限于 MySQL 5.7 3 影像分析服务器 对被测系统输出的结果进行汇总计算，应具备评分指标计算能力 CPU：4 核心 2.6 GHz 或相同性能 GPU：4 卡，单卡 12TFLOS 或相同性能 内存：16 G 以上 硬盘：500 G 以上 操作系统：不限于 CentOS 7 运行时库：不限于 python 3.9 4 网络 带宽：100 Mbps 以上 5 推理框架 框架：不限于TensorFlow2.0 B.2 功能测试报告 表B.2规定了功能测试报告的模板。表B.2 功能测试报告 测试需求方 测试机构 测试对象 版本 Vx.x.x 测试项目 功能名称 类型 功能测试 测试用例 ID 测试用例名称 测试内容 DB45/T 27152023 16 表 B.2 功能测试报告（续）数据源 测试步骤 预期输出 返回结果 测试评分 测 试 员：_ 复 核：_ 测试日期：_ B.3 性能测试报告 表B.3规定了性能测试报告的模板。表B.3 性能测试报告 测试需求方 测试机构 测试对象 版本 Vx.x.x 案例 ID 案例名称 类型 性能测试 测试用例 ID 测试用例名称 测试内容 数据源 测试步骤 测试评分 测 试 员：_ 复 核：_ 测试日期：_ DB45/T 27152023 17 参考文献 1 GB/T 291002012 道路交通信息服务 交通事件分类与编码 2 GB/T 301472013 安防监控视频实时智能分析设备技术要求 3 GA 8022019 道路交通管理 机动车类型 4 GA/T 1399.12017 公安视频图像分析系统 第1部分：通用技术要求