基于高速公路雷视融合的车辆感知追踪技术.pdf

：年増刊（总第 期）丨中国交通信息化 基于高速公路雷视融合的车辆感知追踪技术李杰王金亮牟珊珊，王风春樊现行郝文邦（山东高速信息集团有限公司，山东济南；？山东鼎讯智能交通股份有限公司，山东济南）摘要：随着智 能路侧 感知设备及多接入计算服务器的普及，为高速公路场景全 方位感知识别技术的研究提供了基础，单一路側 传感器如雷达、摄像 机等无 法达到 全方位感知的目的，且性能受环境影 响较大。本文提出一种基于路侧摄像机和毫米波雷达数据铀合的方法，通过对摄像机和毫米波雷达实现空间和时间上的标定和统一，将视觉识别与雷达多目标识别结果进行决策级数据融合，实现高速公路车辆的 感知与追踪。该方法 能够有效地融合摄像机和雷达的数据，实现车辆全方位的 感知和追踪。关键词：毫 米波雷达；雷视数据融合；机器视觉；高速公路；车辆追踪目前高速 公路路侧设备智能化建设的重点主要 涵盖三类：路侧感知设备、路侧通信设备和边缘计算设备。利用摄像机、毫米波雷达、激光雷达等路侧智能感知设备，可以实现对车辆目标的传感和定位，并可以准确地识别车辆周围的交通目标。多传感器在实际应用 中目前主要面临着设备的选择和数据融合 等问题，基于毫米波雷达和摄像机融合的方法，可以实现雷达车辆目标追踪和视频车辆目标检测在优势上的互补，同时还可以克服毫米 波雷达在静态目标检测上的缺陷 等。采用深 度学习目标检测算法对摄像机视频进行车辆的识別，同时对毫米波雷达的数据进行预处理，并进行时钟同步和空间坐标转换，最后进行两 者数据的决策层融合进行输出。系统能够有效地集成摄像机和雷达 的数据结果，并在 实际应用中获得准确、全面的车辆目标信息。一、研究现状（一）基于摄像机的场景感知摄像机作为目前应用最多的路侧感知设备，主要依赖于深度 学习算 法 来完 成对交通场景 的 感 知，如、等已广泛应用于交通车辆及人员方面的检测识别，且随着近年来图像处理单元（）的迅速发展，算法的识别精准性得到了较 大提升。目前基于深度学习检测的算法大致可以分为两种，检测器和检测器，检测器典型算法为，检测器的典型算法为，这些方法具有较高的检测准确性，但也存在检测速度慢的问题。在识别 的过程中可为视频中的每个目标分配一个边界框，通过网络回归层和分类层将目标输出在图像中的位置信息、类型和置信度大小。应用独立的 网络模型实现了端到端的目标检测，与之前滑 窗式预测方式不同，网络需要将网络分成个小格子，之后可以生成边界框 的置信度，该置信 度主要包括两部分，一是该目标的存在 的可能性的大 小，二是边界框位置的准确度的大小，最初版的模型 对相近的物体和小目标的识别效果不小，泛 化能力也偏弱；在每一个卷积 层的 后面都添加了层用于规范化模型，提高了模型过拟合的能力；相对于前两种模型，大 大增加了模型的复杂度，引入了多尺度预测结构，更改了损失函数，这使得模型预测速度变得更快；则是通过尝试不同的架构、训练参数以及训 练技巧等，如在 结构上添加了和网络，同时使用了相当多的训练技巧如数据增强，正则化，激活函数等最终达到了非常高的性能。（）网络架构，通过区域卷积的特性，将之前的检测精度提上了一个新台阶，主要 包括三个主模块，候选窗口、特征提取以及分 类和窗口回归，由于三个步骤独立进行，造成网络的运行速度和检测效率都较低，后续为改善此情况，研究人员提出了（空间金字塔池化模型，通过空洞卷积增大特征图卷积的感受野，并将原始特征图按照多个不同尺度的卷积核分成多个不同大小的特征图，最后将多个尺度的特征图进行池化，增加了特征的丰富性，提高了检测准确率，在速度上，只需要将图像送人模型一次，所有候选窗口在上层进行一次映射，可大幅度提高检测速度。在 此基础上后续又提出了网络结构用于产生候选窗口。另一方面，基于摄像机检测识别 的缺点也很明显，在 光照条件差和局部特征遮挡严重的情况下，严重影响检测精度和目标轨迹的连续性。同时，面对实时性的大数据量的感知需求，对硬件条件的要求较高，且训练过程中，容易出现过拟合现象。技术（二）基于雷达的场景感知相比于摄像机的场景感知，毫米波雷达天气适应性强，能够在雨、雪、雾等恶劣天气环境下准确地检测目标的距离、速度和方位角。目前毫米波雷达主要分为两种，脉冲式和调频连续波式（），在实际应用中，调频连续波毫米波雷达因其廉价和性能强的优势，广泛应用于汽车工业和交通状态监测领域。但也存在方位测量 弱、目标遗漏等缺点，当距离较近时，附近较大的车辆容易被探测为两个或两个以上物体。基于 激光雷达的主要任务有：三维形状分类、三维目标追踪和三维点云分割等，与毫米波雷达相比，激光雷达能够直接给出目标距离及方位，且可以达到较高的角精度。在实际测试中，激光雷达会对路边反光标志太敏感，检测效果受天气影响较大。毫米波雷达由于电磁波衍射作用，可以绕过障碍物，使得系统能够探测到被阻挡的目标，从而对车辆行驶场景有一个更全面的感知。因此，目前研究者更青睐于性价比更高的毫米波雷达作为智能路侧设备。越来越多的研究人员也已经开始探索毫 米波雷达在目标分类领域和实现基于微多普勒信号的目标分类和动作识别领域的潜力。在 文 献中，研究人员 利用微多普勒特征完 成了主体分类、人类活动分类、人员计数 和 粗略定位等四项分类任务，该研究也为微多普勒模型的基础 研究和实验设置的应用提供了有价值的指导。三种常见的路侧传感器性能优劣对比见下表。三种常见的路侧传感器性能优劣对比表类型优势劣势距离毫米波雷达对于距离、速度检测精度较高；有一定抗千扰性，天气影响较小静态目标不可用，传输损 耗较大激光雷达可获 取目标三维信 息，无电磁 干扰；高方位分辨率，视野开阔；探测位置准确价格高昂，恶劣天气不可用，成像速度较慢 摄像机感知 视野 开阔；可探测目标类型丰富硬件要求较高，无法获取位置信息，受天气影响较大（三）基于多元路侧数据融合的场景感知由于单传感器应用中的各种缺陷，研究者把更 多目光转向了多元路侧传感 器融合的方法，根据不同的数据处理方法，多元路侧传感器数据融合可分为数据层、特征层和决策层三个层次。、基于数据层的融合数据层融合方法 的主要思想是基于摄像机检测区域内雷达点生成的区域提取图像特征。文献提出了一种基于多传 感器系统的空间校准方法，它利用了坐标系统的旋转和平移。通过与校准数据对比，验证了该方法结果的有效性。在毫米波雷达与摄像机的 融合过程中，由于传感器之间数据差异较大，对通信能力的要求也较高，因此数据级融合效果并不太理想。、基于特征层的融合特征层融合方法是最近的比较流行的一种数据融合方法。在该方法的思想中，将雷达点从三维坐标转化为二维坐标，并以像素值的形式存储。文献提出了一种雷视数据融合网络（）来融合道路车辆摄像机和雷达传感器的数据，为雷达数据融合研究开辟了新方向。、基于决策层的融合决策层融合的方法主要是结合毫米波雷达和摄像机的预测 结果进行融合。文献提出了一种基于雷达和 摄 像机决策层数据融合的方法，使用了深度 神经网络长短期记忆（）模型。首先，输出摄像机检测到 的目标，生成一个边界检测框，然后使用训练后的来预测目标的位置，最后，对异步摄像机和雷达检测到的位置进行了关联和融合。二、技术研究（一）数据采集与处理首先对摄像机和毫米波雷达数据进行预处理。目前高速公路监控摄像机一般为。雷达数据的预处理主要包括生成结构化数据和数据预处理。（二）时钟同步由于路侧摄像机釆样的频率为，釆用的毫米波雷达的采样频率 为，如图所示，数据采样周期的不同步，就会造成数据采集时出现数据在时间上的 差异，所以首先需要对于两传感器进行时间上的统一和同步。为了能让两者同步，实验釆用雷达的时间为基准，选择二者 的最小公倍数周期为最小釆样周期，摄像机和毫米波雷达数据采样时间选择示意如图所示，在以及后续处两者会重合，此时采样为同帧图像。（三）坐标系标定在确定时间釆集周期之后，需要对毫米波雷达和摄像头 的坐标进行标定，将两者统一到世界坐标系，再进行数据的融合，主要包括毫米波雷达坐标系和摄像机像素坐标系。对于毫米波雷达的坐标系标定需要将雷达坐标系投射到世界坐标系，毫米波雷达检测到车辆后返回目标的位置，速度和角度。年增刊（总第 期）中 国交通信息化 雷 达坐标系与世界坐标系转换示意如图所示，假设雷达投射平面与世界坐标平面的夹角 为，与世界坐标系之 间 的坐标的距离差分别为和。，同时考虑到毫米波雷达在车辆目标检测的随机误差，将随机误差定义为，代表 第几个检测目标，如图 中检测的目标（力，）和目标（，），则可得转换为世界坐标系的公式（）为：，！（”对于摄像机坐标系的标定主要基于线性摄像机模型，将三维摄像机的点经过几何变换转化到二维的像素坐标系中，转换过程主要涉及图像坐标系，世界坐标系以及摄像机像素坐标系等。（四）融合区域标定将毫米 波雷达检测到的目标结果产生 的 区域映射到图像像素坐标系统中，毫 米波雷达与摄 像机数据融合区域示意如图所示。摄像机检测的区域较毫米波雷达视野更大，距离更长，当它们安装在同一路侧时，需要对二者的检测区域进行标定，确定两个传感 器的共同检测区域，当车辆从远处过来时，摄像机会先识别到目标，然后是毫米波雷达，在融合区域的目标才是有效目标，再根据上述的釆样周期，完成对车辆目标的识别和匹配。图毫米 波雷达与摄像机数据融合区域示意图三、系统架构论文基于雷视融合的车辆感知追踪技术应用的系统架构主要包括数据采集与预处理、深度学习特征提取、雷达信号处理、空间坐标标定、深度学习目标分类、雷达微多普勒目标分类以及结果融合输出等模块，系统整体结构图如图所示。实际测试毫 米波雷达和摄像机的多目标跟踪识别时，基于毫米波雷达的微多普勒识别追踪的精度原理上要高于摄像机的检测精度，釆取毫米波雷达的检测结果为基准。；七米波盂达始丨？丨？达丨处 押丨：成称图毫米波雷达与视频数据 决策 级融合整体框架示 意图四、结束语论文为验证算法 的实际应用效果，在多个路段上进行了大量的测试实验，包括基于单视频的检测效果，基于毫米波雷达的检测效果以及基于雷视融合的检测效果等。毫米波雷达与 摄 像机检测结果如图所示：视频识别基于深度学习网络模型，直接输出车型以及目标在图像中的相对位置，毫米波雷达提供车辆经纬度位置，航向角和速度，但是对于车型的识别准确率不如视频识别的效果。基于雷视数据融合的方法可以结 合视频深度学习检测良好车型 识别效果，同时又可根据毫米波雷达识别的位置信息，计算得出多目标追踪的绝对速度，图 中速度值以米秒的形式显示输出。图毫米 波雷达与摄像 机 检瀏结果示意图：基于视频的检测结果；：基于毫 米波雷达的识别结果；：基于雷视数据駐合的识别结果（）免时技术系统基于雷视数据融合的识别结果，可识别异常车辆及行人，交通事故事件包括车辆逆行、车辆超速、车辆拥堵等，还可实现道路上车辆的全程追踪识别。通过数据后台向高速管理人员发布预警，并自动调用事故周边摄像设备以显示具体事件信息。路侧设备的数据融合感知系统也是目前支持车路协同和无人驾驶技术的重要基础。参考文献王 西新 基建 背景下智慧高速多元鹺合感知技 术应用浅 谈丨中 国交通信息化，（）丨【】，！（），（），；，（），；！】梁 翼基于毫米波雷达及深度 学习视觉信息融合的前方车 辆 检測方 法研究华南理工大 学张文斌，党 奇 志高速公路车路协同雷达跟踪 路况感知系统 浅析中国 交通信息 化，（）：责任编辑：户 利华（上接笫页）在事件发生时，通过情报板、定向喇叭、声光报警器等动态发布设施，向驾驶员传递紧急预警信息，以减少次生事故的发生。同时通过建设系统平台，推送事件给隧道管理站及分中心监控人员，隧道管理站内管理人员可以第一时间介入管理，并由分中心组织区域内的管控。五、结束语常台髙速 事故多发路段整治项目建设完成以来，雷视融合感 知系统的事件检测精度在 以上，相较于单一的视频或雷达检测方式，事件的发现率与准确率都有一定提升。同时，由于本项目雷视融合系统釆用了混合架构，外场的边缘节点内置管控算法，实现了外场响应联动时间小于秒。事故发生率及拥堵发生率都有较大下降，整治效果初步达成，交通状况有所好转。雷视融合技术可以有效解决传统路侧感知技术数据分散、实时性不高、数据有效性低等问题，提供多种精准、高效、实时的交通感知数据，为智慧交通管理提供更精细化的基础数据。由于需要建设高密度的外场传感器、大量边缘节点、髙性能的中心计算单元等设施，雷视融合方案的建设投入将处于一个较高的水平。现阶段在高速公路领域，针对重点路段、重点区域，建设小范围的雷视融合系统，配合相应的智慧管控设施，将是一个不错的建设策略。当然，随着我国交通智能设施的不断发展，雷视传感器的性能将进一步提升，价格进一步降低，融合算法通过的加持也将进一步加强，雷视融合技术将获得更为广阔的应用场景。参考文献浙江省 智慧高速公路建设指南（形吴建波，朱文 霞剧亮，等边 缘 计算在智蕙交 通系统中的应用计算 机与现代 化，（）：空责任编辑：郭潇威