基于边缘计算的双模态轻量化目标检测_常志宇.pdf

第 44 卷 第 4 期2023 年 4 月 激光杂志LASER JOURNALVol.44,No.4April,2023http /收稿日期:2022-09-27基金项目:国家自然科学基金(No.61871351)作者简介:常志宇(1998-),男,在读硕士,主要研究方向:深度学习、边缘计算等。E-mail:287548248 通讯作者:陈平(1983-),男,博士,教授,博士生导师,主要研究方向:信号与信息处理、图像处理与重建、人工智能等。E-mail: 基于边缘计算的双模态轻量化目标检测常志宇,陈 平中北大学信息探测与处理山西省重点实验室,太原 030051摘 要:针对当前在智能监控系统中产生的大量视频数据无法被实时、准确地分析问题,提出了一种基于边缘计算的 anchor-free 轻量级双模目标检测方法。结合注意力机制 SE 模块与 Ghost 模块构建轻量级特征提取网络,增加 PAN 网络以丰富高层特征,同时改进标签分配策略和损失函数,使训练更加稳定和高效。并在公共红外数据集 OTCBVS 以及可见光数据集 ShanghaiTech 上进行实验验证,改进后的网络参数量仅有 2.08 M,在数据集上准率达到 70.5%,推理总时延为 39 ms,帧率达到 25.73 帧/s。相较于 Yolox-Tiny 在精度降低 7.2%的情况下,参数量降低 58.9%,推理时延降低 33 ms,速度提升 46%,能满足移动边缘设备对目标检测速度和精度的要求。关键词:边缘计算;目标检测;注意力机制;轻量化中图分类号:TN391.4 文献标识码:A doi:10.14016/ki.jgzz.2023.04.080Dual-mode lightweight object detection network based on edge computingCHANG Zhiyu,CHEN PingShanxi Key Laboratory of Signal Capturing and Processing,North China University,Taiyuan 030051,ChinaAbstract:Aiming at the problem that a large amount of video data generated in the current intelligent monitoring system cannot be analyzed in real time and accurately,a lightweight dual-mode object detection method based on edge computing is proposed.Combining the attention mechanism SE module and Ghost module are combined to construct a lightweight feature extraction network,add PAN network to enrich high-level features and improve the label allocation strategy and loss function,make the training more stable and efficient.Experimental verification is carried out on the public infrared dataset OTCBVS,and ShanghaiTech,and the improved network parameter number is only 2.08 m,the accuracy rate on the dataset reached 70.5%,the total delay of inference was 39 ms,and the frame rate reached 25.73 frames/s.Compared with Yolox-Tiny,the accuracy is reduced by 58.9%,the inference delay is reduced by 33 ms,and the speed is increased by 46%,which can meet the requirements of mobile edge devices for target detection speed and accuracy.Key words:edge computing;target detection;attention mechanism;lightweight1 引言随着物联网的快速发展和 4G/5G 无线网络的普及,大量摄像头被应用于各种场景用以分析数据,复杂场景下的可见光与红外的双模相机应用也逐渐普及,这些设备的广泛部署产生了大量视频和图像数据,导致视频流量呈指数级增长1。将这些视频的原始数据上传至云计算中心,会给通信网络带宽带来巨大压力和延迟2。显然,传统云计算无法满足视频处理的快速响应,仍然面临着监控系统对延迟敏感的巨大挑战,基于边缘计算的视频处理成为了一种可行的http /方法3-4。2006 年,Hilton 等人首次提出了深度学习(DL)的概念5-6,许多深度神经网络(DNN)被提出,卷积神经网络(CNN)7作为其中最具代表性的网络被广泛使用。2014 年,Girshick 等人开发的 R-CNN8第一次成功将卷积神经网络应用在目标检测中。2015年,He 等人9提出了残差神经网络(ResNet)则解决了深层网络中梯度消失和梯度爆炸问题。但是随着网络层数增加,网络结构也越加复杂,使得这些目标检测网络只能在云服务器上运行。为解决这个问题,大量轻型神经网络模型被提出,使得这些模型可以在嵌入式设备或边缘设备上运行10-13。目标检测网络根据是否产生候选框分为 two-stage 目标检测算法与 one-stage 目标检测算法,其中的 one-stage 由于不需要产生 region proposal,单次检测即可直接得到最终检测结果,有着更快的检测速度,典型算法如 YOLO、RetinaNet 等算法14。但由于嵌入式设备存在内存少以及计算能力不足等问题,单阶段目标检测算法难以满足其实时处理的需求。针对此问题,大量 Yolo 的 Tiny 版本出现,2020 年 6 月,以 Yolov4 算法为基础,进行尺度缩放的 Yolov4-Tiny发布,其参数量仅有原算法的 10%,在公共数据集COCO 上,帧率达到 443 FPS,同时检测精度为 42%。同年,Yolov5 算法被提出,按照模型权重大小分为 s、m、l、x。Yolov5-s 在 Nvidia Tesla V100 上运行速度达到 2 ms,同时在 COCO2017 验证集上的 mAP 达到55.4%15。2021 年旷视科技 YoloX 发布,其轻量级网络在 COCO 上取得了 50.0%的 mAP16。在嵌入式设备上,上述目标检测算法仍存在网络结构复杂、综合性能不平衡或嵌入式设备部署困难等问题。针对上述问题,提出一种基于 FCOS 的轻量化一阶全卷积目标检测模型,首先,采用 ShuffleNetV2 网络作为骨干网络替换 ResNet50 和 ResNet101,同时引入 SE 模块与 Ghost 模块提升精度;同时针对原有的FPN 网络,加入 PAN 网络实现多尺度特征图的提取与融合;最终去掉 FCOS 系列使用共享权重的检测头,归一化方式则使用 Batch Normalization 替换掉原来的 Group Normalization,使得归一化的参数直接融合进卷积中以节省时间,最终提高实时的目标检测。2 网络结构设计对 FCOS 网络修改后的整体网络结构如图 1 所示,将输入的红外图像与可见光图像设置为 320320输入特征提取网络,对目标进行分类。图 1 网络整体结构 骨干网络通过构建更改后的 ShuffleNetV2 进行特征提取,经过 C1,C2,C3,C4,C5,5 个卷积层,将所得到的特征图变为上一层的一半,其中 C3、C4、C5,分别对应原图大小的 1/8、1/16、1/32。在 FCOS 中通过FPN 网络得到 P3、P4、P5,在此基础上加入 PAN 网络增加一条自底向上的通道得到 N3、N4、N5 特征图,实现多尺度目标检测。在轻量化检测头中使用深度可分类卷积替代常规卷积的同时减少卷积数与通道数,同时将分类和框预测分支共享参数,最后得到类别张量和预测框张量。2.1 特征提取2.1.1 ShuffleNetV2在 ShuffleNetV2 中通过卷积对相应的信道分组进行操作,从而降低计算成本,并通过 Channel Shuffle 确保不同信道分组的特征映射在不增加计算量的情况下交换信息。图 2 为 ShuffleNetV2 网络结构,先对输入的特征图进行通道划分(Channel Split),分成两个分支(branch),当卷积完成后,两个分支会进行 Con-18常志宇,等:基于边缘计算的双模态轻量化目标检测http /cat 操作,通道数相加,融合特征,最后通过 Channel Shuffle 实现不同组之间的信息交流。图 2 ShuffleNetV2 网络结构2.1.2 SENetSENet17是典型的通道注意力网络,由于在神经网络中所提取到的特征重要程度不同,通过增强重要特征、抑制一般特征可提高模型效果。在 SENet 中,主要分为 Sequeeze(压缩)、Excita-tion(激励)与 Scale(特征重标定)三步,首先将图像进行全局平均池化,进而获取到 11C 的特征图。之后经过两个全连接神经网络,对压缩之后的向量做一个非线性变换得到特征权重。最终将权重乘到输入特征上实现增强重要特征的目的。SE 模块具有即插即用的便利特征,已经在一些网络中得到应用。2.1.3 GhostNetGhostNet18将线性操作与常规卷积方法相结合,通过对普通卷积的特征图进行线性转换获得相似特征图,从而达到高维卷积的效果,避免了高维卷积带来的巨大参数,以此降低计算量。整个 Ghost 模块分为常规卷积、Ghost 生成和特征图拼接三步,首先通过较少的普通卷积产生固有特征图,这些本征特征图作为低维度的特征层参与计算;其次将这低维度的本征特征层进行简单的线性运算,生成高维的特征图,称为 Ghost 特征层;最终将这个低维度的本征特征层和与高纬度的 Ghost 特征层在通道维度上进行拼接,得到最终的输出层。2.1.4 轻量化 bakbone(骨干网络)由于 ShuffleNetV2 在边缘设备上部署时具有较高的实时性,因此,首先将整个 bakbone 由 ResNet50 和ResNet101 替 换 为 ShuffleNetV2。其 次,针 对 不 同channel 之间存在的相互依赖性,在模块中添加 SE 模块,并通过借鉴 MobileNetV3,将 SE 模块的两层激活函数分别设置为 ReLU 和 H-Sigmoid,通过 SE 模块学习不同 channel 特征的重要程度,根据 channel 的重要程度进行权重分配以学习 channel 之间的相关性,提高模型性能。最后,由于红外图像所生成的特征图为灰度信息,其色域划分不像可见光图像那么明显,因此,会出现大量具有重复特征的特征图,这些重复特征图增加了模型的参数同时对于模型精度提升的效果有限,因此,针对监控系统中的红外图像,加入Ghost 模块,避免了大量的冗余特征图,实现了模型的参数量和计算量减少。得到最终如图 3 所示骨干网络结构。图 3 骨干网络结构2.2 轻量化检测头2.2.1 特征金字塔对于目标检测网络来说,其特征图的分辨率随着网络深度的变深而变差,虽然获得了图像的高层特征,但是低维网络中的小目标信息容易丢失。浅层网络虽然能够反映出细节特征,但感受野较小,语义表征能力较弱。为了避免这个问题,FCOS 采用了特征金字塔网络(feature pyramid networks)的思想,通过多层级 feature map 的预测来实现小目标检测的问题,但是 FPN 仅仅是自上而下,只有高层中较强的语义特征可以被传递下来,其中的定位信息会丢失,因此,如图 4 所示,在原有的 FPN 网络后添加一个自下向上的金字塔(PAN),加强了原有网络中的距离特征关系。通过两条通路既能充分利用低维特征中的位置信息,又能有效地减少 BiFPN 的特征融合运算所导致的运28常志宇,等:基于边缘计算的双模态轻量化目标检测http /算速度降低。图 4 特征融合网络结构在原版 PAN 网络中,所有卷积采用步长为 2 的卷积核,实现特征图的缩放。为了保证网络的轻量化,在 PAN 网络中不进行任何卷积,上采样采用最简单的最邻近元法进行采样,即求某一点像素,将距离该像素最近的四个相邻像素值赋给待求像素。下采样则采用窗口内所有像素均值。在原有网络中,得到的多尺度特征采用 concatenate 操作进行特征联合,不可避免带来了计算量。为了避免这种情况,最终将得到的多尺度的特征图直接相加,得到计算量极小的特征融合模块。2.2.2 损失函数FCOS 采用了 anchor-free 机制,与基于 anchor 的目标检测网络相比,距离目标中心较远的位置会产生大量的低质量的检测框,因此,性能存在一定差距。为了抑制低质量的检测框产生,在 FCOS 提出“中心”的思想来避免这些低质量检测框的产生。通过“cen-ter-ness”(中心性分支)可以将 AP 从 33.5%提高到37.1%,但是对于轻量化的检测模型,“center-ness”分支很难收敛,导致了其轻量化难以实现。针对“center-ness”分支难以收敛的情况,引入损失函数 GFL(Generalized Focal Loss)19,将类别和预测框质量结合,将整体质量作为系数缩放类别向量,解决 FCOS 预测和测试的不一致问题,并通过回归一个任意分布的预测框表示解决灵活性问题。以此去掉了 FCOS 系列的“center-ness”分支,避免了“center-ness”分支中的大量计算,减少检测头的计算开销。GFL 计算方法如公式(1)所示,其中 y 为类别标签和质量标签的联合体,yt和 yr为预测值,pyr和 pyt为预测的类别概率,为幂次函数的指数。GFL(pyt,pyr)=-|y-(ytpyt+yrpyr)|(yr-y)log(pyt)+(y-yt)log(pyr)(1)3 实验结果分析3.1 实验数据集与训练实验数据集合选取了公共数据集 OTCBVS(红外图像)和 ShanghaiTech(可见光图像)。通过对两种类型的图片进行混合组成完整数据集,并对其进行了训练和测试。在此基础上,利用数据增强技术对数据集进行扩展,包括翻转、比例缩放、随机裁剪、移位、高斯噪音等数据增强方法,从而达到更好的训练效果。数据集中包括红外图像 5 643 张,可见光图像 6 123 张,验证集与测试机都包含红外图像 1 881 张,可见光图像 2 041 张,每张图像中包含一个或者几个目标对象。实验 硬 件 环 境 为:Intel(R)Core(TM)i7-6700HQ CPU 2.60 GHz,16.0 GB DDR4 内存,NVI-IA GeForce GTX1080 8 G 独立显卡。以 Pytorch 为软件框架进行实验,在训练过程中超参数 Batch size 设为 30、初始学习率 Learning rate 设置为 0.001,算法总迭代次数设置为 160 次,并将训练好的模型最终在NVIDIA Jetson Vavier NX 上开展模型推理实验。3.2 评价指标本研究对不同的轻量化目标检测网络参数量、精度以及速度进行对比,精度评价指标包含 AP(average precision)和 mAP(mean average precision),精确率(precision)表示预测结果中正确的比例,召回率(Re-call)则表示在图片中所有目标中,正确预测出的比例,计算公式如下:precision=TPTP+FP(2)recall=TPTP+FN(3)式中,TP 表示测试结果中预测正确的目标个数,FP则为预测错误的目标个数,FN 则表示未成功检测出的目标,对所有类别的 AP 值求平均值即为 mAP,mAP 为行人和背景的 AP 的平均值。Parameter(参数量)则用来描述目标检测算法的复杂程度。3.3 实验结果及分析从训练日志得到损失值数据,绘制损失值,如图 5所示。38常志宇,等:基于边缘计算的双模态轻量化目标检测http /图 5 损失值变化曲线最终模型检测结果对比如图 6 所示。图 6 双模图像检测效果图为了评估提出的目标检测算法性能,将目前主流的轻量化算法 Yolov4-Tiny、Yolov5-S、Yolox-tiny 以及在原始的 FCOS 网络基础上进行轻量化改进的网络四种模型进行对比实验。将训练好的模型在边缘计算平台 NVIDIA Jetson Xavier NX 上进行测试,本算法在精度损耗较低的情况下参数与推理时间大幅度降低。各模型在数据集中训练的参数量以及检测的 AP值如表 1 所示,推理时间以及帧率如表 2 所示。表 1 各模型准确率及参数量对比ModelParametermAPYolov4-Tiny6.06 M0.764Yolov5-s7.07 M0.781Yolox-Tiny5.06 M0.766FCOS-tiny2.08 M0.705由表 1 可以看出,本方法在参数量上大幅度小于其他模型,以微小的精度损失,带来更大的速度增益。本算法在精度方面,相较于 Yolov4-Tiny 平均精度降低 8.4%;相较于 Yolov5-s 精度降低 10%;相较于Yolox-tiny 精度降低 7.2%。但是本算法的参数量相较于 Yolov4-Tiny 参数量降低 65.7%;相较于 Yolov5-s 参数量降低 70.6%;相较于 Yolox-tiny 参数量降低58.9%。表 2 各模型推理时间对比模型推理延时FPSYolov4-Tiny65/ms15.38Yolov5-s61/ms16.47Yolox-tiny72/ms13.88FCOS-tiny39/ms25.73由表 2 可知,在同类检测算法中,提出的检测算法延时仅有 39 ms,FPS 可达到 25.73,相较于 Yolov4-Tiny、Yolov5-s、Yolox-tiny 推理时延分别降低 26 ms,22 ms,33 ms。推理速度则分别提升 40%,36%,46%。相较于其他结构,本算法在参数量有明显的优势,推理速度大幅度上升,因此,改进后轻量化网络具有良好的性能。3 结束语提出了一种基于 FCOS 的 anchor-free 轻量级的目标检测方法,对原有网络的复杂结构进行简化,结合注意力机制 SE 模块与 Ghost 模块增加网络精度,构建高精度轻量级特征的提取网络,采用深度卷积与逐点卷积降低参数量,增加 PAN 网络以丰富高层特征,同时改进标签分配策略和损失函数,使训练更加稳定和高效。实验 结 果 表 明,改 进 后 的 网 络 参 数 量 仅 有2.08 M,帧率达到 25.73 帧/s。相较于 Yolox-Tiny 在精度降低 7.2%的情况下,参数量降低 58.9%,推理时延降低 33 ms,速度提升 46%,有效提高了模型对移动设备的适应性。新的轻量化模型结构更加精简,复杂度显著降低,加快了模型的检测速度,实现了计算和存储能力有限的边缘设备目标实时检测。参考文献1 Muhammad A,Ashiq A,Omer R,et al.RES:Real-time Video Stream Analytics using Edge Enhanced CloudsJ.IEEE Transactions on Cloud Computing,2020,10(2):792-804.48常志宇,等:基于边缘计算的双模态轻量化目标检测http /2 Wang X,Han Y,Leung V,et al.Convergence of Edge Computing and Deep Learning:A Comprehensive SurveyJ.IEEE Communications Surveys&Tutorials,2020,22(99):869-904.3 Satyanarayanan M.The Emergence of Edge ComputingJ.Computer,2017,50(1):30-39.4 Ananthanarayanan G,Bahl P,Bodik P,et al.Real-Time Video Analytics:The Killer App for Edge ComputingJ.Computer,2017,50(10):58-67.5 Antonio,Celesti,Antonino,et al.An IoT Cloud System for Traffic Monitoring and Vehicular Accidents Prevention Based on Mobile Sensor Data ProcessingJ.IEEE sensors journal,2018,18(12):4795-4802.6 Zhao Y,Chen Q,Cao W,et al.Deep Learning for Risk Detection and Trajectory Tracking at Construction SitesJ.IEEE Access,2019,7(3):30905-30912.7 Roska T,Chua L O.The CNN universal machine:an ana-logic array computerJ.IEEE Transactions on Circuits&Systems II Analog&Digital Signal Processing,2015,40(3):163-173.8 Li J,Wong H C,Lo S L,et al.Multiple Object Detection by a Deformable Part-Based Model and an R-CNNJ.IEEE Signal Processing Letters,2018,25(2):288-292.9 Lu Z,Jiang X,Kot C.Deep Coupled ResNet for Low-Res-olution Face RecognitionJ.IEEE Signal Processing Let-ters,2018,21(13):526-530.10 Guo W,Fang H,Wang N.New Method of Airport Pave-ment Health Inspection Based on MobileNet-SSD and Mask R-CNNJ.Journal of Physics Conference Series,2021,1885(2):22-28.11 Chen Z,Yang J,Chen L,et al.Garbage classification sys-tem based on improved ShuffleNet v2J.Resources,Con-servation and Recycling,2022,178(5):106-109.12 Huu P,Thu H,Minh Q T.Proposing a Recognition System of Gestures Using MobilenetV2 Combining Single Shot De-tector Network for Smart-Home ApplicationsJ.Journal of Electrical and Computer Engineering,2021,20(3):1-18.13 Zoph B,Vasudevan V,Shlens J,et al.Learning Transfera-ble Architectures for Scalable Image RecognitionC/2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).2018:8697-8710.14 曹家乐,李亚利,孙汉卿,等.基于深度学习的视觉目标检测技术综述J.中国图象图形学报,2022,27(6):26.15 李永上,马荣贵,张美月.改进 YOLOv5s+DeepSORT 的监控视频车流量统计J.计算机工程与应用,2022,58(05):271-279.16 程换新,蒋泽芹,程力,等.基于改进 YOLOX-S 的安全帽反光衣检测算法J.电子测量技术,2022,45(06):130-135.17 Jie H,Li S,Gang S,et al.Squeeze-and-excitation net-worksJ.IEEE Trans Pattern Anal Mach Intell,2019,42(8):1-1.18 Wei B,Shen X,Yuan Y.Remote Sensing Scene Classifi-cation Based on Improved GhostNet C/Proceedings of 2020 International Conference on Computer Science and Communication Technology.2020:718-723.19 Li X,Wang W,Hu X,et al.Generalized Focal Loss V2:Learning Reliable Localization Quality Estimation for Dense Object DetectionC/Computer Vision and Pattern Rec-ognition.2021:51-58.58常志宇,等:基于边缘计算的双模态轻量化目标检测