水运工程施工设备目标检测方法研究.pdf

水运工程施工设备目标检测方法研究 石兴勇1，李志明2，冯冬颖3，汪承志2（1.广西纳海交通设计咨询有限公司，广西南宁 100084；2.重庆交通大学河海学院，重庆 400074；3.赤峰市巴林右旗水利局，内蒙古赤峰市巴林右旗 025150）摘要：本文在 YOLOv3（You Only Look Once）基础上提出一种优化的施工机械多目标检测模型，通过引入包含浅层语义的 4 个特征层的双向特征金字塔方法优化检测模型特征融合结构，提高施工现场多尺度目标检测精确率，并使用考虑边界框中心点距离指标的 DIoU（Distance IoU）损失函数方法进一步提升回归框定位效果。结果表明，所提出模型在自建的复杂施工场景数据集上取得了优于原 YOLOv3 目标检测模型的结果，在检测速度达到实时的 0.020 s/帧的情况下，将检测的平均检测准确率（mean Average Percision，mAP）提高了 4.5%。本研究方法适用于实际复杂施工场景下的工人及机械多目标检测。关键词：目标检测；施工监控图像；YOLOv3模型；人工智能 中图分类号：TU714；TU713 文献标识码：A 文章编号：1004-9592（2023）04-0076-06 DOI:10.16403/ki.ggjs20230417 Research on Object Detection Method for Construction Equipment of Waterway Engineering Shi Xingyong1,Li Zhiming2,Feng Dongying3,Wang Chengzhi2（1.Guangxi Nahai Communications Design&Consultancy Co.,Ltd.,Nanning Guangxi 100084,China；2.College of Harbor,Waterway and Coastal Engineering,Chongqing Jiaotong University,Chongqing 400074,China；3.Bahrain Right Banner Water Conservancy Bureau of Chifeng City,Neimengu Bahrain Right Banner 025150,China）Abstract:Based on YOLOv3(You Only Look Once),an improved multi-object detection model for construction equipment is proposed.By introducing bi-directional feature pyramid network(BiFPN)fusion module based on four feature levels containing low-level features,the detection accuracy of multi-scale objects is improved in construction.Finally,object bounding boxes get better regression by using DIoU loss function.Experimental results show that the proposed model achieves better detection performance than original YOLOv3 model in gathering data on self-built construction scenes,improves mean Average Precision(mAP)by 4.5%based on a real-time detection speed of 0.020 s/frame.The above method is suitable for multi-object detection of workers and equipment under some complex construction conditions.Key words:object detection;construction image monitor system;YOLOv3 model;artificial intelligence 引引 言言 由于水运工程施工场地的视频图像资料包含了大量复杂的语义信息，通过计算机视觉技术分析施工视频和图像提升施工现场管理水平1-2是当下建筑自动化的重要研究方向。该类技术可实现收稿日期：2022-08-31 作者简介：石兴勇（1979-），男，硕士，高级工程师，主要从事水运工程规划、设计、咨询工作。76Port,Waterway and Offshore Engineering77 检测或识别工人和设备，对可能发生安全事故进行预警3，分析建筑工地的生产活动4等。然而复杂施工场景变化多样，目标在监控视频画面中的尺度变化、密集分布等因素常对目标检测效果产生干扰5。近年来，有学者提出基于卷积神经网络（convolutional neural network，CNN）的多种目标检 测 方 法，例 如Faster R-CNN6，Mask-RCNN7，YOLOv38（You Only Look Once），SSD9（Single shot multibox detector）等。如Hyojoo5等为了评估工人的姿态和背景对检测的影响，使用 ResNet152 特征提取网络的 Faster RCNN模型验证了残差网络对不同工人姿态和背景变化有较好的鲁棒性；在施工数据集的泛化方面，Weili10等根据一处地铁施工工地建立了工人和挖掘机数据集，提出了一种根据施工监控图像的调整预选框大小的 IFaster RCNN 算法，使得工人和挖掘机的识别精度进一步提升。Faster RCNN 目标检测模型虽然有较高的精度，无法满足现场的实时检测需求。由此，Zhao11等使用了 YOLOv3 模型对工人目标检测并进一步基于卡尔曼滤波和匈牙利匹配方法实现了管理者对工人轨迹追踪。此外，Daeho3等基于无人机平台使用 YOLOv3 算法对施工机械进行定位基础上通过图像校准方法对移动目标进行估计接近距离。上述方法均基于一个施工场景，目标种类数量为 1至 2 种，未能考虑多个施工场景的多种目标检测特征。因此，在本文之前的工作中，An12等建立了首个大型的开源施工场景数据集（MOCS），该项研究为施工场景的目标检测研究提供了有力的数据集基础。本文根据 MOCS 数据集以及现场采集的监控图像建成了包括多个复杂场景的 11 380 张标注监控图像作为本文的数据集来源。考虑到 YOLOv3在文献12中能够保持较好精度和实时性能，构建了真实施工场景大型监控图像数据集。在模型上构建 4 个尺度的双向多尺度特征融合网络13替代原有的特征结构，扩展对浅层特征的融合，提升了对施工多尺度目标的检测精度；引入 Distance IoU14（DIoU）损失函数增强了对施工目标框回归精度和检测精度。使得数据集中平均精度均值mean Average Precision（mAP）达到 48.5%，与原YOLOv3 和主流的经典目标检测模型相比在满足实时预测时间 0.020 s/帧的同时，精度提升4.5%，总体上优化了检测器对施工机械的适用性，是一种更适合于面向实际施工场景的施工工人、机械的多目标检测算法。1 YOLOv3 模型模型 YOLO（Yolo Only Look Once）是目标检测领域的单阶段卷积网络目标检测算法，它将目标检测问题转化为回归问题，因此与二阶段目标检测模型相比具有更精简的网络和更小的计算量，因此检测速度更快。YOLOv3 是 YOLO 算法的第三个版本，在 Pascal Titan X 上处理 608608 图像速度可达 20 FPS，在 COCO15test-dev 上 mAP0.5达到 57.9%，与单阶段目标检测算法中的 SSD，Retinanet16相比具有更高的精确度和速度，是目前广泛投入实际场景使用的主流单阶段检测算法，能够满足一般实时目标检测任务的需求。YOLOv3 提出了 Darknet53 特征提取网络结构如图 1 所示，Darknet53 借鉴了 ResNet17的思想，采用残差块及残差连接形成更深网络层，缓解网络的梯度消散并提升网络的表征能力，在特征图检测部分，YOLOv3 引入类似 FPN18（Feature Pyramid Networks）结构的上采样特征融合实现多尺度检测，具体如下图 1 所示，对其中降采样的1313、2626、5252 的 3 个尺度特征图进行预测。在损失函数方面，YOLOv3 的损失函数包括目标预测框定位损失、置信度损失、分类损失，具体表达式如式（1）所示：clsobjcoordLossLossLossLoss （1）)()()()(222200jijijijijijijijiobjijssibjcoordhhwwyyxxILoss （2）|gtgtBBBBIoU （3）式（3）中ijobjI表示预测框中包含目标的概率，式（2）计算预测框定位损失时，先计算预测框与目标框之间的 IoU（Intersection over Union）如式，其中 B 表示预测框面积，Bgt表示目标框面积，gtBB表示预测框和目标框相交的面积，gtBB表示预测框与目标并集面积。YOLOv3 根据不同的输入目标尺寸，将包含 深层特征和浅层特征单向融合，强化浅层特征的语义信息，特征图尺寸分别为原始输入的 1/8、1/16、1/32，实现了不同尺度的目标检测，但也导致在尺寸较小的目标的检测上仍存在不足，易造成目标的漏检，在施工场景目标检测问题上，工人、机械在姿态和尺度差异较大。原 YOLOv3 的目标损失函数对预测框的宽高进行单独的均方差损失计算，虽然能够回归大小合适的预测框，但使得网络对施工目标尺度变化敏感，在考虑预测框与目标框的整体定位的准确性方面需优化。本文根据数据集在原 YOLOv3 模型基础上进行了针对性的优化。2 施工场景下的目标检测模型优化施工场景下的目标检测模型优化 2.1 复杂施工场景的多目标数据集复杂施工场景的多目标数据集 施工目标检测算法的研究重要基础是一定规模已标注的数据集，考虑到施工场景的多样性，通过文献11收集 12 个施工工地的不同施工背景、不同分辨率、不同拍摄角度和距离的 11 380 张监控图片作为本次实验的训练和测试数据（如图 1所示），对采集的数据中的 8 类施工目标：工人、吊车、推土机、挖掘机、卡车、装载机、泵车、吊车吊头进行标注，数据集样本数量如表 1所示。在数据集中，各种移动目标样本数量信息如表所示，标注的信息包括目标的像素中心点坐标 x，y 以及位置框的宽高 w，h，数据集按照 9:1随机分为训练集和测试集。图图 1 数据集部分样本数据集部分样本 表表 1 数据集样本统计数据集样本统计 序号 类别 数量 1 工人（Worker）44 037 2 吊车（Crane）1 770 3 推土机（Bulldozer）377 4 挖掘机（Excavator）4 677 5 卡车（Truck）3 767 6 装载机（Loader）656 7 泵车（Pump truck）449 8 吊车吊头（Hanging head）1 850 2.2 双向特征融合金字塔双向特征融合金字塔 在施工现场中，机械的多尺度差异目标检测是一个值得重点关注的问题。YOLOv3 中类似FPN 结构如图 2（a）所示，其结构是单向单元自上而下融合忽略了上下层间的信息融合，相关学者提出了一系列优化的特征金字塔网络，其中在efficientDet13算法中提出的双向特征金字塔 BiFPN（Bi-directional feature pyramid network）如图 2（c）是目前比较先进的特征融合方法，该方法在简单双向融合模型 PANet19如图 2（b）基础上进一步建立了高效的双向跨尺度连接，且优化了加权特征图融合式。（a）（b）（c）图图 2 特征融合网络特征融合网络 BiFPN去掉了对融合不同特征的特征网络贡献较小的连接，减少了计算开销的同时添加了相当于残差结构的跨路连接如式（4）（5），实现不同尺度特征网络层之间的跨尺度连接，加强融合的同时又可以不减少参数容量，在不增加成本的情况下融合更多特征，具体的网络特征信息融合方式如下：)Resize(PConv(PPout6in5out5 （4）)Resize(PConv(PPout4in3out3 （5）YOLOv3 模型检测范围是图像大小能够 8倍下采样的目标，即无法融合到特征图在 Darknet53 的11 层以内的小目标，因此 YOLOv3 模型对小目标易造成小目标的漏检。为了提高对多尺度目标的检测效果，本文提出的优化模型如图 3 将特征提取 网 络 的104104128，5252256，2626512，13131024 四个尺度特征进行双向特征融合，特征图前向过程中构造叠加 3次的 4尺度双向特征金字塔。由于低层语义特征弱但具有丰富的位置信息且包含较多的小目标特征信息，高层位置特征弱但具有较多的语义信息，所以经过 BiFPN 双向特征融合后，增强模型捕捉到更多尺度的目标信息。78 2.3 损失函数的优化损失函数的优化 目标检测模型在实际施工场景中应用时，YOLOv3 损失函数针对筛选出大于 IoU 阈值的预测框来计算预测框定位损失，基于 IoU 指标分别计算预测框的中心点坐标、宽高的均方误差没有考虑坐标间的整体位置对齐相关性，因此 IoU 损失函数19考虑了预测框和目标框的重叠面积，预测框定位损失不受目标尺度大小的影响，但当两个框不相交时其无法反映两个框之间的距离和重叠情况。因此，GIoU21的提出如式（6），C 表示预测框和目标框的最小外接框面积，相比于 IoU损失更能反映目标框的真实重叠情况，但 GIoU 在预测框与目标框包含时 GIoU 退化为 IoU，收敛比较困难且训练不稳定。|)(|CBBCIoUGIoUgt （6）在此基础上，Zheng14等进一步提出了 DIoU损失函数如式（8）（9）所示，其中 b，bgt分别表示预测框和目标框的中心点，表示计算两个中心点间的欧式距离。c 表示能够同时覆盖预测框和目标框的最小矩形的对角线距离。2222cdc)(b,bRgtDIoU （7）22cdIoUDIoU （8）-DIoUR-IoULDIoUDIOU11 （9）对比 IoU、GIoU 和 DIoU 的定义，图 3 反映了当预测框与目标框包含时三种损失函数的计算结果14，DIoU 损失函数由于包含中心距离信息，比起 IoU 损失函数与 GIoU 损失函数能更好的反映两个框的位置关系，能够回归出更精确的边界框。图图 3 IoU、GIoU、DIoU 值对比值对比 3 实验结果与分析实验结果与分析 实验采用的计算机配置为 Intel（R）Xeon（R）CPU E5-2637 V4，显卡型号为 NVIDIA RTX 2080Ti，CUDA10.1 和 cuDNN7.6 调用 GPU进行加速，操作系统为 Ubantu16.04,本实验的网络模型基于 Pytorch框架搭建。3.1 模型的训练模型的训练 实验中训练每次传入网络的图片数量 batch size 为 6，训练步数为 40 000，初始学习率为0.001，动量为 0.9，衰减系数设置为 0.0001，迭代100轮次完成训练。Anchor（先验框）机制是目标检测算法解决目标多尺度变化较大的重要方法，其作用是对训练数据集聚类分析数据集中目标框的形状和尺寸，将合适的预测尺寸预先加入到模型，对目标尺寸范围进行约束以使得模型快速收敛。本文针对施工工人机械数据集，使用了 K-means+聚类算法计算 Anchor。在四个尺度输出的特征图上进行分配，每个特征图按按对应尺度分配 3组 anchor预测框，具体数据为：(10，17)，(35，50)，(40，79)，(51，110)，(65，106)，(85，106)，(101，143)，(130，255)，(180，315)，(225，355)，(310，420)，(360，480)分别作为四个特征图输出1313，2626，5252，104104的 Anchor尺度。3.2 实验结果实验结果 本实验采用目标检测广泛使用的 mAP（Mean Average Precision）作为模型在本文数据集的评价指标，表示多分类检测模型中每个类别的 AP（Average Precision）平均值，AP值由 Precision、Recall 这两项指标得到，Precision、Recall 这两项指标的分别计算每个类别的预测目标的 TP（True Positive），FP（False positive），FN（False Negative）的数量。表表 2 YOLOv3 模型的模型的 mAP 和预测时间和预测时间 模型 特征图尺度 mAP/%预测 时间/msYolov3 1313，2626，5252 44.011.3 Yolov3（DIoU Loss）1313，2626，5252 46.112.3 Yolov3（DIoU Loss+3layer-BiFPN）1313，2626，5252 47.519.4 Yolov3（DIoU Loss+3layer-BiFPN）1313，2626，5252 104104 48.520.3 实验部分，如表 2 所示，首先对目标定位79 DIoU 损失函数的优化模型与原模型损失函数的结果进行对比实验，实验结果表明，通过使用 DIoU损失函数作为网络目标定位损失函数，实验检测精度达到 46.1%，较原网络的基础上提升了2.1%。实验结果表明通过使用 DIoU 损失函数有助于提升目标的定位精度。在特征金字塔结构部分，实验进一步验证了 BiFPN 和特征图尺度对检测精度的影响，特征图输入 BiFPN 特征融合后比YOLOv3（DIoU）模型精度提升了 1.4%，在三层特征层基础上增加 104104 尺度，由表 2 实验结果对比可知，加入浅层特征的四个尺度输入BiFPN单元后模型精度进一步提高了 1%。对比实验，在 YOLOv3 模型的基础上使用 3 层四个特征尺度输入的双向特征金字塔结构 BiFPN 单元代替原有的特征融合网络后，实验结果如表-所示，模型的检测精度达到 48.5%，相较于原 YOLOv3（DIoU Loss）提升了 2.4%。表表 3 不同不同 BiFPN 单元数量模型的结果比较单元数量模型的结果比较 模型 mAP/%预测时间/ms Yolov3 44.0 11.3 3BiFPN-YOLOv3（DIoU）48.5 20.3 6BiFPN-YOLOv3（DIoU）50.9 26.2 8BiFPN-YOLOv3（DIoU）52.8 30.5 进一步还对 BiFPN 网络结构的层数影响进行了对比实验，如表 3 实验所示，在 4 个尺度基础上，当 BiFPN 单元数分别为 6，8 时，模型精度比之前模型分别提升了 2.4%、4.3%，但当单元数大于 3 层时，网络的计算复杂度明显变高，计算资源消耗和训练成本较大，因此本实验条件中选用 3层 BiFPN 单元特征融合方式增强整体网络的目标检测能力。图像数据经过特征网络提取特征后由四个尺度的特征层输入 BiFPN 模块后，经过双向特征的融合。特征融合之后通过 DIoU 损失函数计算预测框。结果表明优化后 mAP 比 YOLOv3 模型提高4.5%，表 4 表明模型在推土机、卡车、装载机、泵车、吊车吊头等目标上的检测精度均获得明显提升。表表 4 各类别精度在模型上的比较各类别精度在模型上的比较 类别 YOLOv3YOLOv3+DIoU YOLOv3+BiFPN+DIoU工人 60.5 61.7 62.9 吊车 53.5 53.3 49.6 推土机17.3 21.6 28.0 挖掘机71.3 72.3 67.0 卡车 57.9 60.7 61.0 装载机34.6 39.1 43.7 泵车 24.8 27.3 38.4 吊车吊头32.2 32.5 36.3 mAP 44.0 46.1 48.5 3.3 工人、机械目标检测效果对比工人、机械目标检测效果对比 本文提出的优化模型与原始的 YOLOv3 的检测效果如图 4 所示：（a）为 YOLOv3 的检测结果，（b）为优化模型的检测结果。通过对比目标分类预测和定位框回归发现，（a）中两个实例中均未能检测到图像中的工人小尺寸目标；而通过优化模型，成功的检测到了在复杂施工场景中尺度差异较大时的小尺度目标和密集目标。（a）YOLOv3检测效果 （b）本文优化模型检测效果 图图 4 检测效果对比检测效果对比 此外，本文对主流的经典双阶段目标检测模型 Faster RCNN，单阶段目标检测模型 SSD、RetinaNet、YOLOv3 在在自建施工数据集上进行了对比如表 5 所示。结果表明优化后的模型最终检测精度（mAP）达到 48.5%，在检测速度上达到 0.020 s/帧在速度上仅低于 YOLOv3 模型，但已经能够满足施工现场实时目标检测的需求，总体在精度和计算效率上优于主流的目标检测模型。表表 5 不同模型的检测精度不同模型的检测精度 模型 Backbone mAP/%预测时间/msFaster RCNN Resnet-101 54.7 49.2 SSD300 Vgg-16 42.3 22.1 RetinaNet ResNet-50 47.7 28.5 YOLOv3 Darknet53 44.0 11.3 优化模型 Darknet53 48.5 20.3 80 3.4 结论结论 在本文数据集涉及的各种场景的施工目标检测中，多尺度的目标检测效果通过实验结果可知，在复杂施工场景中，YOLOv3 通过预测框中心点和长宽大小差异损失函数计算网络回传梯度，这使得损失函数对目标尺度比较敏感，在本文数据集中，由于多尺度目标之间尺度的差异较大，图片中尺度较大的目标损失值对网络的预测框区域调整有较大的贡献，进而使得网络对小目标的尺度预测框调整出现较大的偏离容易造成网络对小目标的漏检，因此针对这些问题：1）本文的模型通过加上对网络检测尺度的扩展，4个尺度 BiFPN单元双向特征融合，增加了特征图 8 倍下采样小目标检测尺度一定程度上解决了低层特征语义信息不足分类不准确和高层特征位置信息不足定位误差较大的问题，即扩展了多尺度检测也增强了对小目标检测精度；2）在预测层引入了 DIoU 损失函数后使得预测框定位加入了中心点距离惩罚项而更加合理，降低了网络对目标框尺度变化的敏感性，缓解了目标遮挡或密集时的回归框错误预测，使得模型对施工多尺度目标检测准确性有较好的提升。4 结结 语语 本文提出的方法与经典主流模型进行检测性能对比，验证了为解决复杂场景的施工工人和机械检测问题下对特征融合、损失函数优化方法提供了一种解决思路。能更好地实现现场工人、机械数量、类型、位置信息的获取。在后续工作中需要进行施工场景下的对抗神经网络数据增强或更好的特征融合方法研究，进一步提高模型对数据集中遮挡较多的困难样本的工人机械检测性能，实现施工多移动目标的轨迹追踪和活动分析管理的研究。参考文献：参考文献：1 Fang W,Ding L,Love P E D,et al.Computer vision applications in construction safety assuranceJ.Automation in Construction,2020,110:103013.2 高寒,骆汉宾,方伟立.基于机器视觉的施工危险区域侵入行为识别方法J.水运工程与管理学报,2019,36(01):123-128.3 Kim D,Liu M,Lee S H,et al.Remote proximity monitoring between mobile construction resources using camera-mounted UAVsJ.Automation in Construction,2019,99:168-182.4 Roberts D,Golparvar-Fard M.End-to-end vision-based detection,tracking and activity analysis of earthmoving equipment filmed at ground levelJ.Automation in Construction,2019,105:102811.5 Son H,Choi H,Seong H,et al.Detection of construction workers under varying poses and changing background in image sequences via very deep residual networksJ.Automation in Construction,2019,99:27-38.6 Ren S,He K,Girshick R,et al.Faster r-cnn:Towards real-time object detection with region proposal networksC.Advances in neural information processing systems,2015,91-99.7 He K,Gkioxari G,Dollr P,et al.Mask r-cnnC/Proceedings of the IEEE international conference on computer vision,2017,2961-2969.8 Redmon J,Farhadi A.Yolov3:An incremental improvementJ.arXiv preprint arXiv:1804.02767,2018.9 Liu W,Anguelov D,Erhan D,et al.Ssd:Single shot multibox detectorC/European conference on computer vision.Springer,Cham,2016:21-37.10 Fang W,Ding L,Zhong B,et al.Automated detection of workers and heavy equipment on construction sites:A convolutional neural network approachJ.Advanced Engineering Informatics,2018,37:139-149.11 Zhao Y,Chen Q,Cao W,et al.Deep learning for risk detection and trajectory tracking at construction sitesJ.IEEE Access,2019,7:30905-30912.12 Xuehui A,Li Z,Zuguang L,et al.Dataset and benchmark for detecting moving objects in construction sitesJ.Automation in Construction,2021,122:103482.13 Tan M,Pang R,Le Q V.Efficientdet:Scalable and efficient object detectionC/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2020,10781-10790.14 Zheng Z,Wang P,Liu W,et al.Distance-IoU Loss:Faster and Better Learning for Bounding Box RegressionC/AAAI,2020,12993-13000.15 Lin T Y,Maire M,Belongie S,et al.Microsoft coco:Common objects in contextC/European conference on computer vision.Springer,Cham,2014,740-755.16 Lin T Y,Goyal P,Girshick R,et al.Focal loss for dense object detectionC/Proceedings of the IEEE international conference on computer vision,2017,2980-2988.17 He K,Zhang X,Ren S,et al.Deep residual learning for image recognitionC/Proceedings of the IEEE conference on computer vision and pattern recognition,2016,770-778.18 Lin T Y,Dollr P,Girshick R,et al.Feature pyramid networks for object detectionC/Proceedings of the IEEE conference on computer vision and pattern recognition.2017,2117-2125.19 Liu S,Qi L,Qin H,et al.Path aggregation network for instance segmentationC/Proceedings of the IEEE conference on computer vision and pattern recognition.2018,8759-8768.20 Yu J,Jiang Y,Wang Z,et al.Unitbox:An advanced object detection networkC/Proceedings of the 24th ACM international conference on Multimedia,2016,516-520.21 Rezatofighi H,Tsoi N,Gwak J Y,et al.Generalized intersection over union:A metric and a loss for bounding box regressionC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2019,658-666.81