动态视觉传感器的行人检测识别算法研究.pdf

2023 年第 10 期217智能技术信息技术与信息化动态视觉传感器的行人检测识别算法研究谌 颃1 张袖斌1 朱恺文1 戴华珍1 CHEN Hang ZHANG Xiubin ZHU Kaiwen DAI Huazhen 摘要 通过围绕 YOLOv5+deepsort 实时摄像头采集到的行人图像，首先利用改进 HOG 目标检测算法将某一动态事件转化为灰度图、提取整体性特征，降低局部细节特征关注度；然后基于事件整合的深度神经网络（Event-based YOLO）算法，对处理后的动态事件整体完成卷积、池化深度学习分析，得出动态视觉传感器的行人数据集检测识别结果。仿真实验结果表明，相比于传统 YOLO 网络算法、CNN 卷积神经网络算法而言，采用 CIFARIO-YOLOv5 动态事件数据集展开算法迭代，Event-based YOLO 神经网络融合算法对事件相机输入图像的迭代训练，其损失函数值 LF（loss function）、准确率 P（precision）、F 值（F-measure）均优于以上两种算法，且检测准确率为 95%以上，可以被用于外部动态场景的行人目标检测与识别。关键词 动态视觉传感器；行人检测识别；算法；研究 doi：10.3969/j.issn.1672-9528.2023.10.0461.广州科技贸易职业学院 广东广州 511442 基金项目 2020 年度广东省普通高校特色创新项目“基于深度学习的动态目标跟踪技术的应用研究”（2020KTSCX292）0 引言传统机器视觉的运动场景目标检测通常提取不同时间节点的目标对象前景图、背景图，并采用 CNN 卷积神经网络的深度学习模型处理分析每一帧图片，但该检测方案需要完成多帧图像的特征重复计算，严重浪费处理器的性能和计算能力。因而利用组事件神经网络原理对事件相机输出的坐标(x,y)、极性 p、光照强度变化时间 t 作出监督学习与转换，将输出事件序列转换为连续的时间信号脉冲，将事件整合形成到某一平面后，采用改进 HOG 算法对图像高斯平滑操作，确定检测行为目标，提取光照变化特征，最后使用基于事件（Event-based YOLO）算法，作出 CIFARIO-YOLOv5 动态事件数据集的深度学习检测，得到的动态行人目标检测效率、检测准确率更高。1 基于 YOLOv5+DeepSORT 摄像头的动态行人图像检测利用 YOLOv5 实时摄像头检测到目标行人对象的运动特征，包括三维空间、时间中视频帧变化特征，检测和定位画面的行人对象。通过使用 ID 分配、实时预测等跟踪器模块，YOLOv5 对象检测器相机能够检测与输出实时的事件信息，包括被跟踪对象 ID、对象坐标位置(x,y)、视频帧数、物体边界框坐标、是否覆盖或切割对象，每张图像拍摄与检测时间约为 20.6 ms（50 帧/s）1。这一“YOLOv5+DeepSORT”摄像头的动态行人图像检测过程中，DeepSORT 跟踪算法负责每个对象 ID 分配、目标对象跟踪，当面对多个行人目标对象情况时，往往通过添加外观描述符、设置 detect_track 脚本来减少身份切换，完成在线实时跟踪、数据集深度排序。使用 YOLOv5、DeepSORT实现动态行人对象的目标检测流程为：DeepSORT 模块初始化将检测图像数据加载到 dataset 中从 dataset 数据集中读取names行人类别信息设置计数器横向/纵向分界线、行人对象坐标位置调整数据结构并传入 DeepSORT 中调用函数进行行人对象识别分析。2 行人对象检测事件生成与处理原理2.1 事件生成原理YOLOv5 动 态 视 觉 传 感 器（dynamic vision sensor，DVS）根据外部感知光线强度变化，对某一时间段内每一个像素点上的光线强度信息作出控制，当光线强度变化范围超过某个阈值时，YOLOv5 传感器可输出像素点的坐标位置、事件 ID 属性和时间等信息2。假设 YOLOv5 事件相机的输出事件（像素点变量）为e=t,x,y,p，其中二维空间像素点光照强度变化的位置坐2023 年第 10 期218智能技术信息技术与信息化标为(x,y)，光照强度变化时间为 t；p -1,1 表示光照强度发生变化的极性，若光照强度变化范围超过某个阈值，则极性 p=1，反之则极性 p=-1。若 YOLOv5 事件相机的动态视觉传感电路中光电子流为 I、图像像素潜像 Lxy(t)=log(I)，则当光照强度变化时间为 t 时，二维空间(x,y)位置坐标处的像素点光照强度，通常与光电子流 I 到达该处的速度相关，具体的事件相机输出像素点光照强度极性 p表示为：()()log,xyxyrefLtpfcLt=()()1,0,1dcf d cdc cdc=（1）式中：c 表示决定事件是否输出的光照强度变化范围阈值，一般由事件相机检测器的光电子流速度 I、电压决定；tref表示事件光照强度变化的前一时间，在新的事件被触发后像素潜像 Lxy(tref)会实时同步更新。除了提供输出事件的像素点坐标位置、事件 ID 属性和时间等信息外，YOLOv5 事件相机还可提供输出事件的灰度图像序列，在 f-T/2,f+T/2 光照曝光时间内输出事件的灰度图像序列可表示为：（2）2.2 组事件处理原理组事件处理原理是基于时间滑动窗口，当新的输出事件被触发后，将实时更新像素潜像 Lxy(tref)，因而该算法原理是将一组事件作为一帧进行深度学习训练，单个事件无法提取关键信息，组事件训练完成后的输出事件序列，可通过脉冲神经网络（spiking neural network，SNN）转换为连续的时间信号脉冲，进而实现新事件的处理3。相比于逐个事件处理方法而言，组事件处理原理中携带的输出事件信息量更多，且不容易受噪声或其他干扰影响，新的输出事件到达后进行原有事件的状态更新。将组事件进行量化处理后，再对事件的光照时间、空间坐标、ID 属性等作出处理。3 基于改进 HOG 算法的行人对象事件特征提取面对光线昏暗或过亮外部场景，利用 YOLOv5 动态视觉传感器、改进方向梯度直方图（histogram oriented gradient，HOG）特征算法，将组事件输出序列转换为可用于训练的传统图像。因而 HOG 算法针对行人对象事件某一区域的图像像素，计算区域内不同方向的像素累积梯度值4，具体的区域行人对象事件特征提取流程5如图 1 所示。图 1 区域行人对象事件特征提取流程从图 1 可以看出，基于 HOG 算法的行人对象事件特征提取，包括时间滑动窗口检测、图像归一化处理、不同方向像素梯度计算、每个像素单元梯度直方图权值投影、每个像素单元重叠黑色像素的对比度归因化、所有黑色像素块内直方图向量组合为大的 HOG 特征向量等流程。其中行人对象事件单个像素的水平、垂直梯度值计算可表示为：Gx(x,y)=H(x+1,y)-H(x-1,y)Gy(x,y)=H(x,y+1)-H(x,y-1)（3）式中：H(x,y)表示二维空间像素点坐标(x,y)处的像素值大小，将水平、垂直方向梯度值合并为像素点(x,y)的梯度幅值可表示为：22()(,),()xyG x yG x yGx y=+()()arctan,(,)yxGx yx yG x y=（4）式中：(x,y)表示事件图像像素点的梯度方向值，假设归一化处理后的图像大小为 64128，则单个像素单元 88，每个像素单元的梯度幅值为 882=128 个值。按照 0 180梯度方向范围划分像素单元为 10 个 bin（二进制）块，依据22/xxXy+=、22/yxYy+=的归一化计算公式，将大小为 22 的黑色 bin 块整合为新的 block 单元，得到像素单元在 x、y 方向上的归一化结果。但由于 block 单元的各方向梯度直方图向量存在重叠，因此提出改进 HOG 特征算法，在像素点坐标位置等特征的梯度计算前，将事件图像形成到某一平面，通过高斯滤波对图像平滑操作，对相邻像素坐标位置、方向的中心进行双线性插值计算，具体的事件图像高斯 2023 年第 10 期219智能技术信息技术与信息化滤波计算公式为：22222()1/2,xyG x ye+=（5）在相邻像素中心坐标位置、方向的双线性插值计算过程中，假设 P=(x1,y1)的点在函数 f 上，属于相邻像素中心 R1、R2连线的交点，其中 Q11=(x1,y1)、Q12=(x1,y2)、Q21=(x2,y1)、Q22=(x2,y2)，那么在x轴方向的双线性插值得到R1、R2像素值，在 y 轴方向的双线性插值得到 P 点像素值，计算公式为：11121212121()()()xxxxxxxff Qf QxR=[phone]()()()xxxxxxxff Qf QxR=+（6）112221121()()()f Pf RfyyyyyyyRy=+（7）将 Q11、Q12、Q21、Q22的坐标(0,0)、(0,1)、(1,0)和(1,1)代入后，化简与整合得到双线性插值的矩阵表达形式为：()()()()112221121()1f Qf Qyxxf QfyPQf=（8）依据此方法对相邻像素中心坐标位置、方向进行双线性插值计算，可有效降低图像局部细节的特征，实现事件图像整体细节的高精度检测6-7。4 基于 Event-based YOLO 神经网络算法的行人对象事件特征检测传统 CNN 卷积神经网络算法的目标检测、特征提取，需要针对候选区域的图像帧重复寻找目标对象，严重浪费处理器的性能和计算能力。改进 HOG 梯度直方图回归算法，虽然不需要生成、搜寻候选区域的目标对象，但其检测精度不高。为规避以上两种算法的缺陷，本文从行人对象事件特征检测与提取的角度出发，提出基于 Event-based YOLO 神经网络算法。该算法通过利用事件处理模型的卷积层、池化层、全连接层，进行输入事件数据集的处理、迭代计算，并修改损失函数后实现动态行人对象的检测与识别8。4.1 基于卷积层的行人对象事件特征检测Event-based YOLO 卷积神经网络中包含多个卷积层，输入事件图像以黑白灰度图的卷积运算为主，比较更新前后事件特征图的区域变化情况。假设输入图像大小为 55、卷积核大小为 33 像素，黑白像素值设置为 0 或 1，被测事件图像特征图随着时间的衰减变量为 leak，leak 变化会引起该区域特征图的变化。也即若输入的某一像素点光线强度值发生变化，那么该点卷积层计算的特征值降低，其他点特征值可能增加，因此引入更新特征 F(n)对 Sigmoid 激活函数的输出特征计算作出改进9。每当新的输出事件到达时，Event-based YOLO 卷积神经网络模型的卷积层计算，会发生像素衰减、衰减变量为 leak，此时该区域特征图像素值会随着 leak 的变化而变化，得到的 t 时刻(i,j)处像素点的卷积层计算特征结果为ytij，计算公式表示为：()1,1,tttiji h j kleakh khkttijleakh khkygxWbg yW+=+=（9）111,0tttti h j ki h j kleakleakxx+=（10）式中：g()表示 Sigmoid 激活函数，W、b 分别表示卷积层的权重和偏置；,ti h j kx+表示在(i+h,j+k)处的输入特征值，h、k 的数值与卷积核相关。将第一层卷积层的像素坐标特征计算输出值，作为第二层卷积层的输入值，同时更新特征 F(n)在接收域(i,j)处，可得到如式（11）、（12）的卷积计算公式。经过多层卷积的输入事件流特征更新，计算行人对象事件特征的受影响区域，形成新的特征图 y(n)并更新特征传入下一层10。()()()()()11100111,tttti ji jleaki ji h j kh kh kyyFW+=（11）()0,1,0010i h j kti h j ki h j kxFx+=（12）4.2 基于池化层的行人对象事件特征检测在卷积运算后选择红色的像素框区域 44 大小的图像，经过大小为 2 的最大池化层进行输入事件特征图的池化处理。选取最大池化层 2、设置步长 stride=3，引入位置矩阵 It(n)存储接收域最大值的位置信息，完成相邻像素矩阵元素的最大池化（聚合），形成新的特征图 y(n)、更新特征 Ft(n)。若在某一区域内未检测到新事件，则 R1、R2像素值特征的变化与衰减速率相关，衰减速率较慢则特征变化慢，反之则更快。5 仿真实验与结果分析5.1 仿真测试指标设置基于 Event-based YOLO 神经网络算法的动态行人目标检测，是在 Ubuntu 操作系统、MATLAB 仿真软件支持下，采用 CIFARIO-YOLOv5 动态事件数据集，标注数据集图像像素为8001080、数据量为100张，标注后生成LMDB文件。输入行人检测事件的光照强度变化范围阈值设定为 recall=0,0.1,0.2,1，迭代训练过程中对算法平均损失指标的动态变化情况进行记录。2023 年第 10 期220智能技术信息技术与信息化5.2 仿真实验结果随着算法迭代次数的不断增加，输入行人检测事件的数据集图像，会与标注图像存在检测结果差距，损失函数值越大，表明算法在训练集的检测结果与标注结果差别越大，不同算法的数据集训练损失函数值变化趋势11如图 2。01234560.51.01.52.02.53.03.54.0 Event-based YOLO算法 改进H O G 回归算法 CNN卷积神经网络算法损失函数值迭代训练代数图 2 不同算法的数据集训练损失函数值变化趋势从图 2 训练损失函数值可以看出，基于 Event-based YOLO神经网络算法的训练损失下降速度优于其他两种算法，损失函数值也远小于 CNN 卷积神经网络算法、改进 HOG 回归算法。在输入行人检测事件的光照强度变化范围阈值设定为recall=0.5 的情况下，使用 Event-based YOLO 神经网络算法、CNN 卷积神经网络算法和改进 HOG 回归算法，完成输入行人检测事件的数据集图像特征提取训练，得到的检测准确率P(precision)、平均精度值AP、F值(F-measure)如表1所示12-13。表 1 输入行人检测事件的数据集图像特征提取训练结果算法模型PAPF-measureCNN 卷积算法模型83.6%0.8128.53改进 HOG 回归算法模型93.5%0.8713.79Event-based YOLO 算法模型98.7%0.908.55从表 1 的检测准确率 P、平均精度值 AP、F-measure 值检测结果得出，Event-based YOLO 神经网络算法模型在三项指标上都明显优于其他两种算法，性能上查准率提高15.3%，平均精度提高 10%。6 结语通过提出基于事件相关的动态视觉传感器、端到端Event-based YOLO 目标检测算法，只针对像素地址和信息的变化输出采集动态图像信息，将事件重要信息累计到某一图像“帧”上，转化为传统图像像素进行视觉数据点集，通过卷积层、池化层作出运动行人目标的检测与识别计算，表明在降低算法所需算力的情况下，利用 Event-based YOLO 算法的检测效果更优。参考文献：1 胡延平,刘菲,魏振亚,等.毫米波雷达与视觉传感器信息融合的车辆跟踪 J.中国机械工程,2021(18):2181-2188.2 甘耀东,郑玲,张志达,等.融合毫米波雷达与深度视觉的多目标检测与跟踪 J.汽车工程,2021(7):1022-1029+1056.3 戴少怀,王磊,李旻,等.基于遗传算法的 SVM 自适应干扰样式选择 J.空天防御,2020(02):59-64.4 黄同愿,杨雪姣,向国徽,等.基于单目视觉的小目标行人检测与测距研究 J.计算机科学,2020(11):205-211.5 陈宁,李梦璐,袁皓,等.遮挡情形下的行人检测方法综述J.计算机工程与应用,2020(16):13-20.6 张博,张苗辉,陈运忠.基于空间金字塔池化和深度卷积神经网络的作物害虫识别 J.农业工程学报,2019(19):209-215.7 王建林,付雪松,黄展超,等.改进 YOLOv2 卷积神经网络的多类型合作目标检测 J.光学精密程,2020(1):251-260.8 余永维,韩鑫,杜柳青.基于 Inception-SSD 算法的零件识别 J.光学精密工程,2020(8):1799-1809.9 裴伟,许晏铭,朱永英,等.改进的 SSD 航拍目标检测方法 J.软件学报,2019(3):738-758.10 孙皓泽,常天庆,张雷,等.基于轻量级网络的装甲目标快速检测 J.计算机辅助设计与图形学学报,2019(7):1110-1121.12 朱玉刚.融合深度学习的无人驾驶多目标检测算法 J.软件导刊,2019(9):42-46.13 陈丽枫,王佳斌,郑力新.采用 HOG 特征和机器学习的 行人检测方法 J.华侨大学学报(自然科学版),2018(5):768-773.【作者简介】谌颃（1980），男，湖南怀化人，硕士，副教授，高级工程师，研究方向：大数据技术、物联网应用技术、图像识别和个性化推荐技术。张袖斌（1978），男，广东兴宁人，硕士，讲师，研究方向：计算机应用技术、职业教育。朱恺文（1982），男，广东罗定人，硕士，讲师，实验师，研究方向：数字艺术设计、游戏美术设计。戴华珍（1979），女，湖南娄底人，硕士，讲师，网络工程师，研究方向：移动应用技术、大数据技术。（收稿日期：2023-05-10 修回日期：2023-06-03）