T∕CSAE 266.1-2022 智能网联汽车 辅助驾驶前向视觉感知性能要求及测评方法 第1部分：通用方法及指标定义.pdf

ICS 43.020 CCS T 40 团 体 标 准 T/CSAE 266.12022 智能网联汽车 辅助驾驶前向视觉感知性能要求及测评方法 第 1 部分:通用方法及指标定义 Intelligent and connected vehicleRequirements and test evaluation methods for forward visual perception performance of driving assistance system Part 1:General test methods and indicators definition 2022-12-20 发布 2022-12-20 实施 中国汽车工程学会 发 布 学兔兔 标准下载中国汽车工程学会标准（以下简称：CSAE 标准），是由中国汽车工程学会按照明确的程序、规则，遵循公开、透明、协商一致原则组织制定的，供市场自由选择、自愿采用的规范性技术文件。CSAE 标准旨在发挥市场自主制定标准优势，着眼企业竞争力提升，推动汽车产业创新技术的加速发展和广泛应用。CSAE 标准版权归属中国汽车工程学会，除用于国家法律或事先得到中国汽车工程学会许可外，不得以任何形式复制该标准。在本标准实施过程中，如发现需要修改或补充之处，欢迎将意见反馈至中国汽车工程学会，以便修订时参考。中国汽车工程学会地址：北京市大兴区融兴北三街39号行知楼；电话：[phone]；邮编：100176；邮箱：wwqsae-china.org。学兔兔 标准下载T/CSAE 266.12022 I 目次 前言.II 1 范围.1 2 规范性引用文件.1 3 术语和定义.1 4 辅助驾驶前向视觉感知系统.2 辅助驾驶系统功能范围.2 4.1 辅助驾驶前向视觉感知目标范围.3 4.2 辅助驾驶前向视觉感知系统要求.3 4.3 5 视觉感知性能测试方法.4 测试通用要求.4 5.1 5.1.1 测试方法适用阶段.4 5.1.2 测试用坐标系.4 5.1.3 真值系统.5 回灌测试.5 5.2 5.2.1 概述.5 5.2.2 测试要求.5 5.2.3 测试流程.6 仿真测试.6 5.3 5.3.1 概述.6 5.3.2 测试要求.6 5.3.3 测试流程.7 封闭场地测试.7 5.4 5.4.1 测试要求.7 5.4.2 测试流程.7 公开道路测试.8 5.5 5.5.1 测试要求.8 5.5.2 测试流程.8 6 视觉感知测试项及测试指标.8 测试项.8 6.1 6.1.1 直接测试项.8 6.1.2 间接测试项.9 6.1.3 系统性能测试项.9 6.1.4 系统安全测试项.10 测试指标.10 6.2 附录 A（资料性）感知项、测试项及其测试指标的对应关系.13 学兔兔 标准下载T/CSAE 266.12022 II 前言 本文件按照GB/T 1.12020标准化工作导则 第1部分：标准化文件的结构和起草规则的规定起草。T/CSAE 266智能网联汽车 辅助驾驶前向视觉感知性能要求及测评方法分为4个部分：第 1 部分：通用方法及指标定义；第 2 部分：自适应巡航控制系统；第 3 部分：车道保持辅助系统；第 4 部分：交通拥堵辅助系统。本文件为T/CSAE 266的第1部分。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本文件由中国智能网联汽车产业创新联盟提出。本文件起草单位：国汽（北京）智能网联汽车研究院有限公司、北京地平线机器人技术研发有限公司、武汉达安科技有限公司、北京汽车研究总院有限公司、同济大学、黑芝麻智能科技有限公司、福瑞泰克智能系统有限公司、一汽-大众汽车有限公司、上海汽车集团股份有限公司创新研究开发院、北京华为数字技术有限公司、中汽院智能网联科技有限公司、国汽智控（北京）科技有限公司、清华大学、吉林大学、广州汽车集团股份有限公司汽车工程研究院、北汽福田汽车股份有限公司、上海机动车检测认证技术研究中心有限公司、天津所托瑞安汽车科技有限公司、上海电器设备检测所有限公司、合众新能源汽车有限公司、东风悦享科技有限公司、中国第一汽车股份有限公司、一汽（南京）科技开发有限公司、中汽研汽车检验中心（天津）有限公司、北京赛目科技有限公司、中国信息通信研究院、北京百度智行科技有限公司、长安汽车软件科技有限公司。本文件主要起草人：纪嫣静、李润泽、黄萌、邓盛宇、李峰、庞凯、朱西产、张峻荧、王孔龙、陈维富、高嵩、王鹤、赵文博、程智锋、吴茜、陈君毅、陈华、苏芮琦、孙健宁、陆军琰、陈音、何俏君、朱冰、于晓军、李艺、黄小云、王跃建、水冰、徐月云、曹恺、王瑶、鲍叙言、王捷、方伟浩、马鸿杰、曹润滋、白智敏、王金鑫、窦汝振、宋攀、贾元辉、金大鹏、何山、吴限亮、潘青梅、王贵锦、许瑞琛、张贤超、张成阳、王栋梁、郑建明、骆嫚、王科未、陈乾坤、孙海燕、任建鹏。学兔兔 标准下载T/CSAE 266.12022 1 智能网联汽车 辅助驾驶前向视觉感知性能要求及测评方法 第 1 部分:通用方法及指标定义 1 范围 本文件规定了智能网联汽车辅助驾驶前向摄像头的视觉感知性能测试通用方法、测试项与测试指标体系。本文件适用于智能网联汽车辅助驾驶前向摄像头的视觉感知性能测试。2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T 392632020 道路车辆 先进驾驶辅助系统（ADAS）术语及定义 GB/T 404292021 汽车驾驶自动化分级 T/CSAE 2122021 智能网联汽车场景数据图像标注要求及方法 ISO 8855 道路车辆 车辆动力学和道路保持能力 词汇（Road vehiclesVehicle dynamics and road-holding abilityVocabulary）3 术语和定义 下列术语和定义适用于本文件。3.1 先进驾驶辅助系统 advanced driver assistance systems；ADAS 利用安装在车辆上的传感、通信、决策及执行等装置，实时监测驾驶员、车辆及其行驶环境，并通过信息和/或运动控制等方式辅助驾驶员执行驾驶任务或主动避免/减轻碰撞危害的各类系统的总称。来源：GB/T 392632020，2.1 3.2 视觉感知系统 visual perception system 通过摄像头传感器拍摄图像数据，并从中提取目标物信息的系统，包含系统硬件、感知算法模型与后处理程序等部分。3.3 场景 scenario 一段连续时间内目标车辆的行为、外部环境以及在特定驾驶任务过程中环境与车之间的作用关系的描述。3.4 设计运行域 operational design domain；ODD 驾驶自动化系统设计时确定的适用于其功能运行的外部环境条件。注：典型的外部环境条件有道路、交通、天气、光照等。来源：GB/T 404292021，2.11 3.5 视频投影 video projection 视频投影是视觉感知测试的一种视频流数据输入方式，将视频流数据投影到显示设备上，再调整待测摄像头位置拍摄显示内容，获得视频流数据并输入给摄像头的处理芯片或控制器等硬件设备。学兔兔 标准下载T/CSAE 266.12022 2 3.6 视频注入 video injection 视频注入是视觉感知测试的一种视频流数据输入方式，视频注入方案屏蔽掉了摄像头本身的感光元器件，直接注入像素数据到视觉的处理芯片或控制器等硬件设备。3.7 真值系统 ground truth reference system 真值系统是记录实车测试过程中各路信号数据与测量或计算获得各测试指标（如目标类别、位置、速度、朝向、加速度等）真值的软硬件系统，能够为被测视觉感知系统的输出结果提供对照基准，以评价被测系统性能。3.8 可行驶区域 free space 测试车辆可以通行的道路区域。3.9 推断 inference 将图像或视频数据输入给感知算法，获得感知结果的过程。3.10 建立关联 build correspondence 指被测系统输出的各项指标的推断值与真值进行匹配的过程。3.11 视场角 field of view；FOV 以光学仪器的镜头为顶点，以被测目标的物像可通过镜头的最大范围的两条边缘构成的夹角，称为视场角。3.12 镜头遮挡 lens occlusion 镜头遮挡是指镜头被泥土等非透明脏污覆盖导致被覆盖区域无法成像。3.13 镜头模糊 lens blur 镜头模糊是指镜头被水滴、雾气等半透明脏污覆盖导致被覆盖区域成像模糊不准。3.14 回灌测试 backfill test 回灌测试是一种基于真实道路采集数据对传感器感知性能进行测试的方法。3.15 仿真测试 simulation test 仿真测试是指通过传感器模型和仿真渲染场景对传感器感知性能进行测试。3.16 封闭场地测试 closed field test 封闭场地测试是指在封闭区域道路环境中对传感器感知性能进行测试。3.17 公开道路测试 public field test 公开道路测试是在开放道路环境中对传感器感知性能进行测试。4 辅助驾驶前向视觉感知系统 辅助驾驶系统功能范围 4.1 辅助驾驶系统旨在提升驾驶安全性与舒适性，通过传感器感知环境信息，为驾驶员提供预警和辅助控制等功能。本文件中2级以下驾驶自动化系统的定义按GB/T 404292021中的规定，说明如下：a)0 级驾驶自动化：驾驶自动化系统不能持续执行动态驾驶任务中的车辆横向或纵向运动控制，但具备持续执行动态驾驶任务中的部分目标和事件探测与响应的能力；学兔兔 标准下载T/CSAE 266.12022 3 b)1 级驾驶自动化：驾驶自动化系统在其设计运行条件内持续地执行动态驾驶任务中的车辆横向或纵向运动控制，且具备与所执行的车辆横向或纵向运动控制相适应的部分目标和事件探测与响应的能力；c)2 级驾驶自动化：驾驶自动化系统在其设计运行条件内持续地执行动态驾驶任务中的车辆横向和纵向运动控制，且具备与所执行的车辆横向和纵向运动控制相适应的部分目标和事件探测与响应的能力。辅助驾驶前向视觉感知目标范围 4.2 辅助驾驶前向视觉感知目标主要类型包括行人、车辆（包含机动车和非机动车）、交通标志与标线、可行驶区域、交通信号灯、道路基础设施、环境主要光源（车灯、路灯等）、道路边界和路面附属物（如锥桶、水马等）等。辅助驾驶前向视觉感知系统要求 4.3 辅助驾驶前向视觉感知系统除了要具备环境感知能力外，同时还应满足感知的时效性和安全性要求。其中，时效性是指感知结果的输出频率应满足辅助驾驶系统的实时运行要求。安全性是指当视觉感知系统因软硬件故障或者特殊天气、镜头遮挡等极端工况而性能降低或失效时，应能输出对应警示信号。表1列举了各等级辅助驾驶功能对应必要感知目标，除高速公路辅助（HWA）之外，各辅助驾驶功能定义按GB/T 392632020的规定。表1 辅助驾驶功能及其视觉所需感知目标 序号 功能名称 必要感知目标 1 前向车距监测 FDM 车辆 2 前向碰撞预警 FCW 车辆、行人 3 车道偏离预警 LDW 车道保持辅助 LKA 车道居中控制 LCC 车道偏离抑制 LDP 弯道速度预警 CSW 当前车道的车道线 4 智能限速提醒 ISLI 智能限速控制 ISLC 限速牌 5 交通标志识别 TSR 道路交通标志 6 紧急转向辅助 ESA 自动紧急转向 AES 车辆、行人 7 前方交通穿行提示 FCTA 车辆、行人 8 自动紧急制动 AEB 紧急制动辅助 EBA 车辆、行人 9 自适应巡航控制 ACC 全速自适应巡航控制 FSRA 车辆、行人 10 自适应远光灯 ADB 环境主要光源（车灯、路灯）11 交通拥堵辅助 TJA 车道线、车辆、行人 12 高速公路辅助 HWA 车道线、车辆、行人、限速牌 学兔兔 标准下载T/CSAE 266.12022 4 5 视觉感知性能测试方法 测试通用要求 5.1 5.1.1 测试方法适用阶段 测试方法包含回灌测试、仿真测试、封闭场地测试和公开道路测试。四种测试方法对应到车辆V开发模型中的各阶段示意图如图1所示。图1 回灌测试、仿真测试、封闭场地测试、公开道路测试适用阶段示意图 5.1.2 测试用坐标系 本文件涉及到的测试方法统一采用ISO 8855中所制定的惯性车辆坐标系，其中X轴指向车辆前方，Y轴指向驾驶员左侧，Z轴垂直向上。从坐标系原点即车辆后轴中心向X、Y、Z轴的正向出发，绕X轴、Y轴和Z轴顺时针方向旋转而产生的角度分别称为侧倾角（roll）、俯仰角（pitch）和横摆角（yaw），车辆坐标系示意如图2所示。图2 车辆坐标系示意图 学兔兔 标准下载T/CSAE 266.12022 5 5.1.3 真值系统 本文件中各测试方法的测试项真值来源主要有三种，分别为测试系统直接生成、真值系统测量计算生成和人工标注生成。对于真值系统的主要性能指标要求如下：a)真值系统的目标感知空间范围应高于待测视觉感知系统的目标感知空间范围，包括 FOV、距离、光照范围和使用温度范围等；b)真值系统的 CAN 信号采样频率应不低于 100 Hz；c)真值系统的视频流数据采样帧率应不低于 30 fps；d)真值系统对目标物的横向距离测量误差小于 0.25 m；e)真值系统对目标物的纵向距离测量误差小于 0.08 m；f)真值系统对目标物的速度测量误差小于 0.25 m/s；g)真值系统对目标物的横摆角速度测量误差小于 0.052 rad/s；h)不同设备之间的数据传输应进行时间同步，时间差应小于 10 ms。回灌测试 5.2 5.2.1 概述 根据测试的不同阶段，可将回灌测试分为软件回灌测试与硬件回灌测试两种：a)软件回灌测试将感知算法软件运行在算力不受限的服务器上，可实现基于海量真实数据的算法性能快速测试，验证算法的鲁棒性。软件回灌测试的对象为视觉感知算法软件，包含算法模型和后处理程序。硬件回灌测试通过视频投影（如视频暗箱等）或视频注入的方式将真实数据输入至运行视觉感知软件的计算平台并获得输出结果；b)硬件回灌测试的对象为视觉感知软件、计算平台以及摄像头（可选），是针对已部署在计算平台上的视觉感知系统的性能测试。5.2.2 测试要求 5.2.2.1 总体要求 回灌测试要求包含测试系统要求和被测硬件要求两部分。5.2.2.2 测试系统要求 5.2.2.2.1 采集摄像头安装要求 回灌测试数据采集所用摄像头的型号应与待测视觉感知系统摄像头保持一致，且摄像头应按视觉感知系统产品的要求进行安装、调试和标定。5.2.2.2.2 硬件回灌系统要求 要求包括：a)系统的 I/O 接口数据读写速率应能满足待测计算平台对帧率的要求；b)车辆总线数据 CAN/CAN FD 等信息的输出频率应满足图像刷新的时间同步要求；c)回灌数据需要严格按采集时的时序进行回灌；d)能够对回灌数据进行管理。5.2.2.2.3 真值系统要求 回灌测试数据采集车辆上应安装真值系统，真值系统性能应满足5.1节中对真值系统的要求。5.2.2.2.4 评测软件要求 a)评测软件应能将待测视觉感知系统的识别结果进行转换，按照既定格式进行输出；b)评测软件支持将待测结果与真值进行关联，建立待测结果与真值的对应关系；c)评测软件支持对各种评测指标的快速计算；d)评测软件支持测试结果的图表生成和数据分析等。学兔兔 标准下载T/CSAE 266.12022 6 5.2.2.3 被测硬件要求 硬件回灌测试中，被测硬件应能提供感知结果，用于与真值结果进行对比分析。5.2.3 测试流程 回灌测试主要流程如下：a)测试数据集构建：准备带有数据采集设备和真值系统的采集车，在真实道路场景下采集数据并构建测试数据集，数据集标注要求宜参考 T/CSAE 2122021 执行；b)测试系统准备：回灌测试软硬件准备，确保数据流通畅无故障；c)回灌测试系统运行：运行数据回灌系统，将数据集输入给感知算法，并获得感知结果；d)测试结果评价：将感知结果与真值进行关联，依据视觉感知测试指标，计算测试结果，并对感知性能进行评价。仿真测试 5.3 5.3.1 概述 按照测试的不同阶段，可将仿真测试分为软件在环测试和硬件在环测试：a)软件在环测试通过仿真软件提供仿真渲染场景，将视觉感知软件运行在算力不受限的服务器平台上，通过记录测试结果与中间状态量来评价视觉感知软件性能；b)硬件在环测试是通过视频投影或视频注入的方式将仿真渲染场景输入至计算平台或摄像头硬件，运行视觉感知算法软件后并获取感知结果。5.3.2 测试要求 5.3.2.1 总体要求 仿真测试要求包含测试系统要求和被测硬件要求两部分。5.3.2.2 测试系统要求 5.3.2.2.1 仿真测试通用要求 软件在环测试与硬件在环测试的通用要求如下：a)测试工具链应支持高渲染的虚拟引擎；b)测试工具链应支持场景的搭建；c)测试系统应能满足摄像头等系统标定要求；d)测试系统应满足准确性要求，包含摄像头模型、车辆动力学模型、道路模型等。5.3.2.2.2 仿真硬件设备要求 除通用要求外，对于硬件在环测试，为保证嵌入硬件的正常工作，测试系统还需满足工作站电脑、实时机处理平台与图像输入设备的要求，具体要求如下：a)工作站电脑中场景仿真软件应满足动力学模型的同步触发要求和摄像头模型的实时渲染要求；b)参照物理摄像头建模原理，工作站电脑中运行的摄像头模型不仅要适配焦距、像素尺寸、视场角等物理参数，还需满足图像信息的格式要求，包括图像分辨率、通道数等；c)实时机处理器平台应满足车辆动力学模型运行速率，系统仿真步长通常为 1 ms；d)图像输入设备应满足感知计算平台对图像实时处理的要求，图像输入帧率要与真实摄像头输入帧率保持一致；e)图像输入设备的输出需满足感知计算平台接口要求。5.3.2.2.3 评测软件要求 要求如下：a)评测软件应能将待测视觉感知系统的识别结果进行转换，按照既定格式进行输出；b)评测软件支持将待测结果与仿真系统输出的真值进行关联，建立待测结果与真值的对应关系；c)评测软件支持对各种评测指标的快速计算；学兔兔 标准下载T/CSAE 266.12022 7 d)评测软件支持测试结果的图表生成和数据分析等。5.3.2.3 被测硬件要求 硬件在环测试中，被测硬件应提供感知结果与真值进行比较分析。5.3.3 测试流程 仿真测试流程如下：a)测试场景搭建：按照测试需求，通过场景仿真软件搭建虚拟场景；b)测试系统准备：系统上电，连接工作站电脑、图像输入设备、被测软硬件与实时机处理器平台，确保数据流通畅无故障；c)测试系统运行：运行场景仿真软件与车辆动力学模型，完成相关场景测试，并记录感知结果；d)测试结果评价：将感知结果与真值进行关联，依据视觉感知测试指标，计算测试结果，并对被测软硬件进行评价。封闭场地测试 5.4 5.4.1 测试要求 5.4.1.1 总体要求 封闭场地测试要求包含测试环境要求、测试系统要求和被测硬件要求三部分。5.4.1.2 测试环境要求 封闭测试场地一般为平坦干燥的沥青或者混凝土路面，应符合测试场景定义，如相应的感知目标、天气等要素，以完成感知性能测试。5.4.1.3 测试系统要求 5.4.1.3.1 测试车辆要求 要求如下：a)测试车辆及待测视觉感知系统应已具备道路测试条件；b)待测前向摄像头应按视觉感知系统产品要求进行安装、调试和标定，摄像头安装误差应符合安装要求，如有必要应进行动态标定；c)除由于测试系统所造成的影响，在前向摄像头 FOV 区域不应有车内物体的反光投影物；d)车辆上应安装真值系统，真值系统的性能指标应满足 5.1 节中对真值系统的要求。5.4.1.3.2 评测软件要求 要求如下：a)评测软件应能将待测视觉感知系统的识别结果进行转换，按照既定格式进行输出；b)评测软件支持将待测结果与真值进行关联，建立待测结果与真值的对应关系；c)评测软件支持对各种评测指标的快速计算；d)评测软件支持测试结果的图表生成和数据分析等。5.4.1.4 被测硬件要求 在封闭场地测试中，被测硬件应能提供感知结果，以与真值进行比较分析。5.4.2 测试流程 封闭场地测试流程如下：a)测试车辆准备：安装待测视觉感知系统及测试系统至待测车辆，包含摄像头硬件、感知计算平台以及真值系统和数据采集设备；b)测试场地准备：依据规定的场景准备测试场地；c)场地测试：满足测试场景初始条件后开启相关辅助驾驶功能，进行感知结果和真值数据记录，满足场景终止条件后，结束相关数据记录；学兔兔 标准下载T/CSAE 266.12022 8 d)测试结果评价：将感知结果与真值进行关联，依据视觉感知测试指标，计算测试结果并对被测软硬件进行评价。公开道路测试 5.5 5.5.1 测试要求 5.5.1.1 总体要求：公开道路测试要求包含测试环境要求、测试系统要求和被测硬件要求三部分。5.5.1.2 测试环境要求 公开道路测试应在道路规定的限速范围内行驶，实际测试路线应符合测试场景要求。5.5.1.3 测试系统要求 5.5.1.3.1 测试车辆要求 要求如下：a)测试车辆与待测视觉感知系统应已具备公开道路测试条件；b)待测前向摄像头应按要求进行安装、调试和标定，摄像头安装误差应符合安装要求，如有必要，应进行动态标定；c)除由于测试系统所造成的影响，在前向摄像头 FOV 区域不应有车内物体的反光投影物；d)车辆上应安装真值系统，真值系统的性能指标应满足 5.1 节中对真值系统的要求。5.5.1.3.2 评测软件要求 要求如下：a)评测软件应能将待测视觉感知系统的识别结果进行转换，按照既定格式进行输出；b)评测软件支持将待测结果与真值进行关联，建立待测结果与真值的对应关系；c)评测软件支持对各种评测指标的快速计算；d)评测软件支持测试结果的图表生成和数据分析等。5.5.1.4 被测硬件要求 在公开道路测试中，被测硬件应能提供感知结果，以与真值进行比较分析。5.5.2 测试流程 公开道路测试流程如下：a)测试车辆准备：安装待测视觉感知系统、真值系统和数据采集系统至测试车辆，进行软硬件调试；b)测试路段选定：根据测试要求，考虑道路类型、目标类型、交通环境特征等要素，选定合适的测试路段和道路工况；c)道路测试：待测车辆由驾驶员驾驶或者开启辅助驾驶功能，沿规定的测试路线正常行驶，完成相关场景测试并记录感知输出结果、真值系统输出结果等数据；d)测试结果评价：将感知结果与真值进行关联，依据视觉感知测试指标，计算测试结果并对被测软硬件进行评价。6 视觉感知测试项及测试指标 测试项 6.1 6.1.1 直接测试项 6.1.1.1 感知测试目标物类型如下：a)各类车辆：车辆类型包括乘用车、货车、客车、半挂牵引车、有轨列车、工程车辆（洒水车、油罐车等）、特殊车辆（警车、救护车、消防车、校车等）、摩托车（二轮或三轮）、自行学兔兔 标准下载T/CSAE 266.12022 9 车（人力或电动）；b)各种姿态的行人：行人应涵盖各种姿态包括站立、行走、骑行、坐、躺、抱、背、被抱、被背、推、蹲、弯腰状态的行人；c)道路交通标线：交通标线类型应包括 GB 5768.32009 中规定的指示标线、禁止标线、警告标线规定的全部类型；d)道路交通信号灯：交通信号灯类型应包括机动车信号灯、非机动车信号灯、左转非机动车信号灯、人行横道信号灯、车道信号灯、方向指示信号灯、闪光警告信号灯、道口信号灯、掉头信号灯；e)路面附属物：包含锥桶、水马、施工护栏等；f)道路交通标志：交通标志类型应包括 GB 5768.22009 中规定的警告标志、禁令标志、指示标志规定的全部类型；g)道路边界：道路两侧的路缘边界；h)可行驶区域：测试感知对视野内自车可以通行的道路区域的识别。6.1.1.2 目标 ID：代表对行人、车辆等交通参与者的 ID 标记。6.1.1.3 颜色：包括道路交通信号灯、道路交通标线等目标的颜色，交通信号灯颜色一般为红色、绿色和黄色，车道线颜色一般为白色和黄色。6.1.1.4 朝向：指的是移动目标物的行进方向，包括车辆、骑行人等，朝向结果以相对于车辆坐标系X 轴的角度给出，朝向角度范围为 180 度到-180 度，其中 X 轴正方向为 0 度，逆时针旋转为 0 到 180度，顺时针旋转为 0 到-180 度；6.1.1.5 三次方程：一种描述车道线、路缘的方式，三次方程公式如下：y=0+1 +222+336 (1)式中：0 1 2 3三次方程系数；纵坐标值；横坐标值。6.1.1.6 二维边界框：通过二维矩形框将目标物边界在图像中的位置框出。6.1.1.7 三维边界框：通过三维矩形框将目标物边界在图像中的位置框出。6.1.1.8 语义标注：将目标物在图像中的轮廓边界（可行驶区域、交通标线等）、中心线（如车道线、道路边界等）通过多点坐标的方式描述，多点坐标构成语义标注点集。6.1.1.9 光源状态：人造光源的开启和关闭状态。6.1.1.10 交通信号灯指示类型：交通信号灯指示类型的识别情况，分为无类型、左向、直行、右向、掉头、禁行、其他 7 类。6.1.1.11 交通信号灯倒计时数值：指交通信号灯显示的倒计时秒数。6.1.1.12 距离：目标物到车辆坐标系原点的横向和纵向距离。6.1.1.13 速度：目标物的绝对速度，包括视野内车辆、行人、骑行人的矢量速度。6.1.1.14 加速度：目标物的绝对加速度，包括视野内车辆、行人、骑行人的矢量加速度。6.1.2 间接测试项 6.1.2.1 紧急行人：行驶路径中最可能与测试车辆发生事故的行人和骑行人。6.1.2.2 碰撞时间（TTC，time to collision）：测试车辆与目标车辆之间的相对速度不变的情况下，两车发生碰撞的时间。6.1.2.3 起止距离：视野内车道线、道路边界的起始点和终止点之间的距离。6.1.2.4 最近车辆（CIPV,closest in path vehicle）：路径中距离最近的车辆。6.1.3 系统性能测试项 6.1.3.1 摄像头传输时长：在一定带宽下，从摄像头拍摄到输出给感知系统的时长统计值，包括平均值、极大值、极小值和中位数值。6.1.3.2 算法处理时长：从摄像头输出给感知系统到感知系统处理完图像或视频的时长统计值，包括平均值、极大值、极小值和中位数值。学兔兔 标准下载T/CSAE 266.12022 10 6.1.3.3 系统处理时长：在一定带宽下，从摄像头拍摄到感知系统处理完图像或视频的时长统计值，包括平均值、极大值、极小值和中位数值。6.1.4 系统安全测试项 极端工况导致感知性能下降或失效：测试感知系统在各类极端工况下，出现性能下降甚至失效时对应信号的输出，极端工况说明如下：a)视野严重受限：镜头因模糊、遮挡、器件损坏等原因导致视野受限，当视野受限区域占总视野 50%以上的情况为视野严重受限；b)高照度环境：环境照度高于 50000 lux；c)低照度环境：环境照度低于 5 lux；d)暴雨天气：降雨量超过 0.05 mm/min；e)暴雪天气：降雪量超过 0.01 mm/min；f)雾、霾、沙尘天气：视野能见度低于 50 m 以下。测试指标 6.2 6.2.1 推断样本中分为以下四种类型，参见图 3 中给出示例样本的关系图：a)True positives（TP，真正）：推断为正，实际为正；b)True negatives（TN，真负）：推断为负，实际为负；c)False positives（FP，假正）：推断为正，实际为负；d)False negatives（FN，假负）：推断为负，实际为正。图3 真正、假正、假负示意图 6.2.2 准确率（accuracy）：分类性能指标，模型正确推断的目标数和除以总测试目标数，公式如下：accuracy=TP+TNTP+FN+FP+TN (2)6.2.3 精确率（precision）：正确推断的正例数除以推断为正例的总数，又称查准率，公式如下：precision=TPTP+FP (3)6.2.4 召回率（recall）：正确推断的正例数除以实际正例的总数，又称查全率，公式如下：recall=TPTP+FN (4)6.2.5 多目标跟踪的准确度（MOTA，multiple object tracking accuracy）：体现在确定目标的个数，以及有关目标的相关属性方面的准确度，用于统计在跟踪中的误差积累情况，包括 FP、FN、，公式如下：MOTA=1 t(mt+fpt+mmet)tgt (5)式中：即漏检数（FN），在第t帧中该目标o 没有假设位置与其匹配；p 即误检数（FP），在第t帧中给出的假设位置 没有跟踪目标与其匹配；e 即误配数（），在第t帧中跟踪目标发生ID切换的次数，多发生在遮挡情况下。学兔兔 标准下载T/CSAE 266.12022 11 6.2.6 多目标跟踪的精确度（MOTP，multiple object tracking accuracy precision）：体现在确定目标位置上的精确度，用于衡量目标位置确定的精确程度，公式如下：MOTP=i tdtitct (6)式中：c 表示第t帧目标o 和假设 的匹配个数；表示第t帧目标o 与其配对假设位置之间的距离，即匹配误差。6.2.7 时间精度：测试场景内所有目标 TTC 相对误差，分母为 TTC 真值。TTCall=|DUTTTCGTTTC|GTTTC (7)式中：TTT 被测物的TTC；TTT TTC真值。6.2.8 功能降级或失效信号：待测感知功能降级或失效时，是否能输出对应信号给后续程序。6.2.9 平均准确率（mAccuracy）：各目标类别准确率的平均值。Accuracy=1k+1 k=0 (8)6.2.10 平均交并比值（mIoU）：为语义分割的标准度量，计算预测轮廓区域内像素点的个数与真实区域内像素点的个数的交并比。o=1k+1TPFN+FP+TPk=0 (9)6.2.11 距离精度：针对测试场景内被测目标，距离精度共包含 3 个维度（分别为总体（XY 方向）、纵向（X 方向），横向（Y 方向），每个维度包含 5 个指标（分别为距离相对误差、距离误差平均值，距离误差极大值、距离误差极小值、距离误差标准差）。其中总体距离相对误差、纵向距离相对误差、横向距离相对误差公式如下：all=1k+1(DUTxGTx)2+(DUTyGTy)2GTx2+GTy2k=0 (10)x=1k+1|DUTxGTx|GTxk=0 (11)y=1k+1|DUTyGTy|GTyk=0 (12)式中：Tx 被测物X方向距离；Ty 被测物Y方向距离；Tx 被测物X方向距离真值；Ty 被测物X方向距离真值。6.2.12 速度精度：针对测试场景内被测目标，速度精度与距离精度相似，共包含 3 个维度（分别为总体（XY 方向）、纵向（X 方向），横向（Y 方向），每个维度包含 5 个指标（分别为速度相对误差、速度误差平均值，速度误差极大值、速度误差极小值、速度误差标准差）。其中总体速度相对误差、纵向速度相对误差、横向速度相对误差公式如下：vall=1k+1(DUTvxGTvx)2+(DUTvyGTvy)2GTvx2+GTvy2k=0 (13)vx=1k+1|DUTvxGTvx|GTvxk=0 (14)学兔兔 标准下载T/CSAE 266.12022 12 vy=1k+1|DUTvyGTvy|GTvyk=0 (15)式中：T x 被测物X方向速度；T y 被测物Y方向速度；T x 被测物X方向速度真值；T y 被测物X方向速度真值。6.2.13 加速度精度：针对测试场景内被测目标，加速度精度与距离精度相似，共包含 3 个维度（分别为总体（XY 方向）、纵向（X 方向），横向（Y 方向），每个维度包含 5 个指标（分别为加速度相对误差、加速度误差平均值，加速度误差极大值、加速度误差极小值、加速度误差标准差）。其中总体加速度相对误差、纵向加速度相对误差、横向加速度相对误差公式如下：aall=1k+1(DUTaxGTax)2+(DUTayGTay)2GTax2+GTay2k=0(16)ax=1k+1|DUTaxGTax|GTaxk=0 (17)ay=1k+1|DUTayGTay|GTayk=0 (18)式中：Tax 被测物X方向加速度；Tay 被测物Y方向加速度；Tax 被测物X方向加速度真值；Tay 被测物X方向加速度真值。6.2.14 平均精确率（AP，average precision）：用来评价检测算法对目标识别的性能，precision和 recall 的定义参见 6.2.3 与 6.2.4。AP=(+1)(+1)n=0 (19)(+1)=()+1(20)6.2.15 平均召回率（AR，average recall）：用来评价检测算法对目标识别的性能，precision 和 recall的定义参见 6.2.3 与 6.2.4。AR=(+1)(+1)n=0 (21)(+1)=()+1 (22)式中：6.2.16 平均的平均精确率（mAP，mean average precision），用来评价检测算法对多个类别的目标识别的性能。6.2.17 平均的平均召回率（mAR，mean average precision），用来评价检测算法对多个类别的目标识别的性能。6.2.18 数值精度：数值精度为通用的标量数值结果统计指标，如时间数值结果、角度数值结果等，包含 5 个指标，分别为数值相对误差、数值误差平均值，数值误差极大值、数值误差极小值、数值误差标准差。数值相对误差公式如下：e=1k+1|DUTGT|GT k=0 (23)式中：T 预测结果；T 真实结果。学兔兔 标准下载T/CSAE 266.12022 13 A A 附录A （资料性）感知项、测试项及其测试指标的对应关系 感知项、测试项及其测试指标的对应关系如表A.1所示。表A.1 感知项及其指标 序号 感知项 测试项 测试指标 1 行人（骑行人）边界矩形框（目标检测）交并比=0.5、0.75、0.5:0.95 情况下的精确率、召回率、平均精确率、平均召回率 朝向 准确率，平均准确率 距离 距离精度 速度 速度精度 加速度 加速度精度 紧急行人 准确率 目标 ID 多目标跟踪准确度、多目标跟踪精确度 2 车辆 边界矩形框（目标检测）交并比=0.5、0.75、0.5:0.95 情况下的精确率、召回率、平均精确率、平均召回率 朝向 数值精度 距离 距离精度 速度 速度精度 加速度 加速度精度 路径中最近车辆 准确率 碰撞时间（TTC）数值精度 目标 ID 多目标跟踪准确度、多目标跟踪精确度 学兔兔 标准下载T/CSAE 266.12022 14 表 A.1（第 2 页/共 4 页）序号 感知项 测试项 测试指标 3 光源（车灯、路灯）边界矩形框（目标检测）交并比=0.5、0.75、0.5:0.95 情况下的精确率、召回率、平均精确率、平均召回率 光源状态（亮、灭）准确率 距离 距离精度 4 交通信号灯 灯箱边界矩形框（检测）交并比=0.5、0.75、0.5:0.95 情况下的精确率、召回率、平均精确率、平均召回率 颜色 准确率，平均准确率 类别 准确率，平均准确率 灯泡边界矩形框（检测）交并比=0.5、0.75、0.5:0.95 情况下的精确率、召回率、平均精确率、平均召回率 距离 距离精度 朝向 准确率，平均准确率 倒计时数字 准确率，平均准确率 5 交通标志 边界矩形框 交并比=0.5、0.75、0.5:0.95 情况下的精确率、召回率、平均精确率、平均召回率 类别 准确率，平均准确率 距离 距离精度 朝向 准确率，平均准确率 学兔兔 标准下载T/CSAE 266.12022 15 表 A.1（第 3 页/共 4 页）序号 感知项 测试项 测试指标 6 交通标线 边界矩形框 交并比=0.5、0.75、0.5:0.95 情况下的精确率、召回率、平均精确率、平均召回率 轮廓点集合 平均交并比（mIo