基于YOLOv7-SSE的船舶装配起重过程违规闯入识别方法.pdf

中国科技期刊数据库 工业 A 收稿日期：2023 年 12 月 21 日 作者简介：吕哲（1997）男，汉族，山西汾阳人，工程硕士学历，助理工程师，主要从事安全生产信息化、机械故障诊断、智能运维研究。-6-基于YOLOv7-SSE的船舶装配起重过程违规闯入识别方法 吕 哲1 张泽翰1 王 梓1 史卫东2 赵学国2 1.中国船舶集团有限公司第七一四研究所，北京 100101 2.大连船舶重工集团有限公司，辽宁 大连 116011 摘要：摘要：为有效监管船舶装配中的起重作业区域，避免人员的违规闯入可能导致的安全事故，本文提出了一种YOLOv7-SSE 模型来实现船舶装配起重过程违规闯入识别。首先，针对复杂的船舶装配环境，引入 SENet 注意力模块，增强特征提取能力。其次，引入浅层加权特征融合网络，实现不同层次特征的有效融合，从而提高对小目标的检测能力。最后，采用 EIoU 作为损失函数，提升了模型在复杂环境下的目标检测精确度。在此基础上，提出一种自适应电子围栏计算方法，实时动态调整监管区域。在采集的船厂复杂场景下的数据集上测试表明，本文方法的准确率达到了 93%，相较于传统机器视觉方法和早期版本的 YOLO 模型，在准确率方面具有显著提升。关键关键词：词：起重作业监管；YOLOv7；注意力机制；损失函数；自适应电子围栏；YOLOv7；注意力机制 中图分类号：中图分类号：U674 0 引言 在船舶装配行业中，起重作业是不可或缺的一部分，同时也是风险最高的环节之一。这些作业通常涉及大型机械和重物的搬运，其操作复杂性和潜在的安全风险给工作场所的安全管理带来了巨大挑战1。尤其是在起重作业区域，不当的人员进入或违规闯入可能导致严重的事故，甚至人员伤亡。因此，确保这些区域内无人员违规闯入是维护船舶装配安全的关键。2-3 在传统的安全管理实践中，起重作业区域的监控主要依赖于人工视觉和基本的视频监控系统。然而，这些方法存在诸多局限性。首先，人工监控容易受到人为因素的影响，如注意力分散、视觉疲劳等，这可能导致监控不到位或响应迟缓。其次，传统的视频监控系统通常缺乏实时分析和响应能力，无法有效识别和预警潜在的安全风险。此外，船舶装配环境的复杂性，如各种机械设备、复杂的地形地貌和多变的光照条件，进一步增加了有效监控的难度。4 随着计算机视觉和机器学习技术的飞速发展，基于深度学习的目标检测技术为提升起重作业区域的监控效率和准确性提供了新的可能性。特别是 YOLO（You Only Look Once）系列模型，在实时目标检测领域取得了显著成就。作为该系列的最新进展，YOLOv7 模型在速度和准确性方面都有了大幅提升，显示出在复杂场景下进行高效监控的潜力5。本文针对船舶装配起重作业区域的特殊需求，提出了一种基于YOLOv7-SSE的船舶装配起重过程违规闯入识别方法。通过改进 YOLOv7 模型，引入 SEnet（Squeeze-and-Excitation Networks）注意力机制6、浅层加权特征融合网络 SPFN 保留原生上标：5以及EIoU（Exponential Intersection over Union）优化损失函数7，提升模型在复杂环境下的目标检测精度。考虑到起重作业区域的动态变化特性，为实现人员违规传入识别，本文还提出了一种自适应电子围栏技术，从而根据起重机械和搬运物体的实时位置动态调整监控区域，实时识别和预警人员违规闯入的行为。1 相关理论 1.1 YOLOv7 原理 YOLOv7 算法是目标检测领域的一项重要创新，它融合了扩展高效长程注意力网络（Extended Efficient Long-Range Attention Network,E-ELAN）和基于级联 模 型 的 模 型 缩 放 策 略，以 及 卷 积 重 参 数 化（Reparameterized Convolutional Layer，REPConv）技术，使检测效率和精度之间更好的平衡。YOLOv7 的网络结构由四个主要模块构成：输入端（Input）、主干网络（Backbone）、特征融合网络（Neck）和预测端（Head）8。输入端（Input）：这一部分负责接收待检测的图像。它确保图像被适当地预处理和规范化，以便于后中国科技期刊数据库 工业 A-7-续的特征提取和分析。主干网络（Backbone）：这一部分是模型的核心，由 CBS（卷积、批归一化和 Swish激活函数的组合）、E-ELAN 模块和 MP（最大池化）等组成。Backbone 的主要职责是从输入图像中提取复杂的特征信息。E-ELAN 模块在此过程中特别关注于捕获长距离的依赖关系，从而增强模型对于图像中各部分的理解和表示。特征融合网络（Neck）：Neck 部分的任务是将从 Backbone 得到的多尺度特征进行融合。这一过程不仅保留了图像的高分辨率信息，也结合了更高层次的语义信息，从而为最终的目标检测提供丰富、综合的特征表示。预测端（Head）：由三个检测头组成，这一部分负责最终的目标预测。每个检测头针对不同尺度的特征图进行工作，使模型能够有效检测不同大小的目标9。1.2 改进 YOLOv7 本文在 YOLOv7 算法中做了三方面改进，改进后的YOLOv7-SSE 模型结构如图 1 所示，改进点如下：（1）在 YOLOv7 的 Backbone 部分中引入 SENet，可以显著提升模型对不同特征的重视程度，特别是在有复杂背景和多种目标类型的场景中。SENet 通过在卷积层后添加“挤压”（Squeeze）和“激励”（Excitation）操作，重新校准特征通道的响应强度。挤压操作首先通过全局平均池化将每个通道的特征压缩成一个数值，从而捕获通道级的全局信息。随后，激励操作通过学习通道间的非线性依赖关系，为每个通道生成权重，并通过这些权重来重新校准原始特征图，强化重要特征，抑制无关特征。（2）在 YOLOv7 的 Neck 部分，引入了浅层加权特征融合网络 SPFN，便于更有效地融合来自网络不同深度的特征信息。在目标检测任务中，不同层次的特征包含了不同的信息：浅层特征通常包含更多的细节信息，而深层特征则包含更高级的语义信息。通过引入浅层加权特征融合网络，可以对这些不同层次的特征进行有效融合，提高对小目标的检测能力，同时保持对大目标的高识别率。这种特征融合是通过加权组合不同层次的特征图来实现的。对于每个特征图，使用学习得到的权重进行加权，然后将它们融合在一起。这使得模型能够根据不同场景和目标的特点，动态调整不同层次特征的重要性。（3）引入 EIoU 损失函数机制 损失函数在训练深度学习模型时起着至关重要的作用。为了提高 YOLOv7 模型的目标定位精度，本研究引入了 EIoU（Exponential Intersection over Union）损失函数。EIoU 是对传统 IoU 损失的改进，它通过增加指数项来增强对重叠区域的敏感性。这一改进使得模型在训练过程中对边界框的小偏差更加敏感，从而提高了定位的精度。CBSCBSCBSE-ELANSENetMPE-ELANSENetMPE-ELANSENetMPE-ELANSENetSPPCBSCBSCBSCBSUpsampleConcatE-ELANCBSUpsampleConcatE-ELANCBSUpsampleConcatMPE-ELANConcatConcatMPE-ELANREPcovREPcovREPcovSFPNSFPN 图 1 改进 YOLOv7 模型结构 1.3 自适应电子围栏 本文提出的自适应电子围栏用于动态监控和调整起重作业区域的安全边界，根据起重作业中物体的实时位置来自动调整预警区域，确保区域内的安全性。这一计算过程包括以下几个关键步骤：（1）实时目标检测，使用改进的 YOLOv7 模型实时检测起重机械和吊物的位置。该模型输出结果包括起重吊钩和搬运物体的边界框（包括位置和大小）。（2）预警区域的确定，以检测到的吊钩或搬运物体的边界框为基础，确定一个以其为中心的预警区域。假中国科技期刊数据库 工业 A-8-设吊物的边界框为B （x,y,w,h），其中，x,y为边界框中心位置，w,h为边界框的宽和高，自适应区域大小R为：22ssRssww（x-,y-,w,h）其中，s是一个预设的缩放因子，用于根据吊物的大小调整预警区域的尺寸。（2）预警区域的确定，根据吊钩起吊重物的目标框自动计算生成一个动态调整的区域坐标。具体算法如下：以吊钩起吊重物的目标框下边界中点（绿色点）为中心。使用下边界的长度乘以预定的缩放因子1.2R 作为正方形区域的边长。生成的这个正方形区域（RoI-2）代表重物下方的预警区域，以绿色虚线框表示。（3）区域调整与确定，如果 RoI-2 超出了图像区域，系统将自动调整，限制电子围栏区域于图像尺寸内，形成实际的电子围栏区域 RoI-1（以绿色实线框表示）。结果如图 2 所示。图 2 自适应电子围栏 2 提出方法 本文针对船舶装配中的起重作业区域提出了一种人员违规闯入识别方法。核心技术基于改进的YOLOv7-SSA 模型，结合自适应电子围栏计算和重叠区域匹配机制，提供了一种识别方法。为实现对吊物和人员的实时检测，本文基于YOLOv7 模型，引入 SEnet 模块和 EIoU 损失函数，以及浅层加权特征融合网络，得到 YOLOv7-SSA 模型。使用该模型达到准确识别吊物和人员的目的。此外，本文提出一种自适应电子围栏的计算，基于 YOLOv7-SSA 模型识别的吊物位置动态调整预警区域。这种灵活的区域调整机制允许系统根据起重作业的实时状态及时更新监控区域，确保了高度的安全性。最后，通过重叠区域匹配，系统能够检测并警报任何违规闯入的行为，为现场人员提供即时的安全保障。本文提出方法具体流程如下：视频流取帧吊钩吊物目标检测人员目标检测进行起重作业根据起吊重物目标坐标生成自适应电子围栏YOLOv7-SSA模型识别围栏中包含人员目标进行报警 图 3 提出方法流程图（1）视频帧获取 流程的第一步是从监控摄像头实时获取视频帧。这些视频帧提供了起重作业区域的连续视觉信息，捕捉吊物的移动、工作人员的活动以及其他相关的场景变化。（2）YOLOv7-SSA 的识别应用 使用 YOLOv7-SSA 模型对获取的视频帧进行处理，分别识别其中的吊物和人员，获取具体的坐标信息，大小信息。（3）起重作业判定 基于视频前后帧之间起重吊物之间位置信息，判断是否正在进行起重作业，若无位置信息变化，则判定为不进行起重作业，若位置信息发生了变化，则判定为正在进行起重作业，并进行电子围栏计算。（4）自适应电子围栏计算 基于 YOLOv7-SSA 模型识别的结果，接下来进行自适应电子围栏的计算。这一步骤涉及分析吊物的实时位置，并据此动态调整预警区域。预警区域的大小和位置根据吊物的边界框动态确定，并随着吊物的移动实时更新。（5）重叠区域匹配 最后一个步骤是进行重叠区域匹配。在这一步骤中国科技期刊数据库 工业 A-9-中，系统会检查识别出的人员是否进入了预警区域。如果人员的位置与预警区域存在重叠，系统将判定为违规闯入行为，并可以触发相应的警报或其他安全响应措施。这一步骤是整个流程中保障起重作业区域安全的关键环节。3 实验验证 3.1 验证方法 为 全 面 评 估 本 文 提 出 方 法，采 用 准 确 率（Accuracy）、召回率（Recall）、精确度（Precision）和F1分数作为主要评估指标，以全面衡量模型的性能。对实际船厂装配起重作业过程中采集到的数据集，进行模拟测试，并将系统的性能与传统机器视觉方法以及早期版本的 YOLO 模型进行对比。3.2 数据集介绍 本文以某船厂的装配起重作业过程进行违规行为摆拍，制作数据集，对提出方法的有效性进行验证。方法验证环境使用 Python3.7.9 语言、PyTorch 1.7.9机器学习方法框架，计算机操作系统为 Windows 10。数据集具体划分情况如下表所示：表 1 数据集 视频帧数 有效标签数 训练集 测试集 验证集 正样本 51425 帧 1652 1156 330 166 负样本 51425 帧 1248 875 249 124 a.中心坐标分布b.长宽分布c.目标框分布 图 4 起重吊物数据集识别分布 在本方法实验评估过程所用数据集中，起重吊物识别结果如图所 4 所示，图 a 为样本框在归一化图像上的位置分布，图 b 为目标框的长、宽分布，图 c 为目标框大小分布。3.3 对比分析 识别结果如图 5 所示，可看出在复杂环境下，本文提出方法可判断出起重吊物下是否有人员经过。a-违规闯入识别结果，b-无违规行为识别结果 图 5 识别结果 与 HOG+SVM 的传统机器学习算法、MASK R-CNN 及早期的YOLO模型在船厂装配起重作业过程中特定数据集的对主要评估指标结果进行比较，结果如图6所示。图 6 方法对比 经过综合对比可看出：（1）在船舶装配数据集上的表现，在船舶装配起重场景准备的数据集上，本文提出的方法达到了 93.4%的准确率和 92.56%的召回率，显示出高水平的检测性准确率(Accuracy)召回率(Recall)精确度(Precision)F1分数(F1 Score)HOG+SVM40.20%42.25%44.20%52.10%Mask R-CNN40.50%41.20%42.20%48.80%YOLOv551.35%52.50%53.50%60.60%YOLOv652.15%53.20%52.20%56.65%YOLOv781.20%82.65%80.24%81.20%YOLOv7-SSA93.40%92.56%93.26%91.00%0.00%10.00%20.00%30.00%40.00%50.00%60.00%70.00%80.00%90.00%100.00%HOG+SVMMask R-CNNYOLOv5YOLOv6YOLOv7YOLOv7-SSA中国科技期刊数据库 工业 A-10-能。特别是在处理含有复杂背景图像时，模型依然保持了较高的稳定性和准确性。（2）与 HOG+SVM 方法相比，本文提出方法在准确率和召回率上都有显著提升，尤其是在处理复杂场景时的稳定性方面。与 MASK R-CNN、YOLOv5 和 YOLOv6相比，本文方法在准确度上都有显著提高。（3）在本文采用的验证数据集的结果显示，与原始的 YOLOv7 相比，提出方法引入 SENet 模块和 EIoU损失函数，以及浅层加权特征融合网络后，准确率、召回率、精确度、F1 分数四个主要评估指标均提升约10%。4 总结 本研究提出了一种基于YOLOv7-SSE的船舶装配起重过程违规闯入识别方法，旨在提高船舶装配起重作业区域的安全监控效率和准确性。通过实验验证，我们证明了系统在多种复杂环境下的有效性和优越性。首先，本文通过引入 SENet模块和 EIoU 损失函数，以及浅层加权特征融合网络，YOLOv7-SSE 模型相比原始模型在目标检测的精确度和实时性方面都有显著提升。这些改进使得模型在处理复杂背景和多变光照条件下的船舶装配场景时，能够更准确地识别吊物和人员，从而降低安全事故的风险。此外，自适应电子围栏的引入增加了系统对动态环境的适应性，使得监控区域能够根据起重作业的实时状态进行灵活调整。在船舶装配特定数据集的实验结果显示，本系统在目标检测精度上相较于传统机器视觉方法和早期版本的 YOLO 模型均有显著提升。具体来说，方法在船舶装配特定数据集上的准确率达到了 93.40%，较传统方法和早期 YOLO 版本具有显著提升。这一成果不仅在船舶装配领域具有重要意义，也对其他高风险工业环境的安全监控提供了可靠的解决方案。综上所述，本文提出的于 YOLOv7-SSE 的船舶装配起重过程违规闯入识别方法，在提高船舶装配起重作业区域的安全性方面表现出色。未来，可继续优化方法泛化性能，探索更多的应用场景，并在实际工业环境中进行更广泛的应用。参考文献 1晋良海,闫月蓉,陈颖等.改进贝叶斯网络模型在起重作业人机交互差错风险分析中的应用J/OL.安全与环境学报,1-10.2古博韬,黄玥诚,方东平.基于计算机视觉技术的施工起重机械打击风险识别与预警研究C/中国图学学会建筑 信 息 模 型(BIM)专 业 委 员 会.第 七 届 全 国BIM学 术 会 议 论 文 集.清 华 大学;,2021:5.DOI:10.26914/kihy.2021.044808 3陈健.起重机械事故风险及安全管理对策探究J.中国设备工程,2021,(04):51-52.4 张 淦,郭 聖 煜,周 晓 洁 等.起 重 吊 装 风 险 协 同 感 知 智 能 装 备 研 发 与 应 用 J.中 国 安 全 科 学 学报,2023,33(06):122-127.5江兴旺,赵兴强.改进 YOLOv7 的木材表面缺陷检测算法J/OL.计算机工程与应,1-9.6雷建云,李志兵,夏梦等.基于改进的 YOLOv5 安全帽佩戴检测算法J/OL.湖北大学学报(自然科学版),1-13.7 Zhang Y F,Ren W,Zhang Z,et al.Focal and efficient IOU loss for accurate bounding box regressionJ.Neurocomputing,2022,506:146-157.8余俊宇,刘孙俊,许桃.融合注意力机制的 YOLOv7 遥感小目标检测算法研究J.计算机工程与应用,2023,59(20):167-175.9 王 烁 宇,姚 燕 婷,周 艳 霞 等.基 于YOLOv7的 危 险 行 为 监 测 系 统 J.信 息 与 电 脑(理 论版),2023,35(13):191-193,238.