基于改进的Yolov8商业渔船电子监控数据中鱼类的检测与识别.pdf

第 38 卷第 3 期大大 连连 海海 洋洋 大大 学学 学学 报报Vol.38 No.32 0 2 3 年 6 月JOURNAL OF DALIAN OCEAN UNIVERSITYJune 2 0 2 3DOI:10.16535/ki.dlhyxb.2022-354文章编号:2095-1388(2023)03-0533-10基于改进的 Yolov8 商业渔船电子监控数据中鱼类的检测与识别袁红春,陶磊(上海海洋大学 信息学院,上海 201306)摘要:为解决传统商业渔船电子监控数据中鱼类检测与识别任务人工成本高、工作量大等问题,采用基于改进的 Yolov8 商业渔船电子监控数据中鱼类的检测与识别方法,其中,主干网使用 GCBlock 结构对远程依赖关系建模,以增加特征提取能力;Neck 端使用 GSConv 新型卷积方式,以减少模型计算量;使用 SIOU 损失函数解决 CIOU 损失函数的局限性,以提升模型检测精度。结果表明:提出的 Yolov8n-GCBlock-GSConv模型在 FishNet 数据集不同标签 L1 和 L2 上的 mAP 0.5 为 43.6%和 52.7%,相比原 Yolov8n 模型分别提高了 2.0%和 4.3%,计算量为 7.7 GFLOPS,比原模型降低了 0.5 GFLOPS。研究表明,本研究中提出的Yolov8n-GCBlock-GSConv 模型能以更低的成本,快速准确地完成商业渔船电子监控数据中鱼类的检测与识别。关键词:Yolov8;商业渔船;目标检测;目标识别;网络优化中图分类号:S 977;TP 391.4 文献标志码:A 目前,在全球商业渔船上安装了大约 1 000 种电子 监 控(electronic monitoring,EM)系 统1。EM 系统将会记录完整的捕鱼活动,产生大量的视频数据,可允许研究人员在不登船的情况下观察渔获情况。实现 EM 系统中鱼类的高精度检测与识别,不仅能够显著提高捕捞效率、节约人类观察员成本2,而且在改善渔业科学管理、提高渔业监管透明度和市场问责制等方面发挥着重要作用。因此,快速准确地完成 EM 系统中鱼类的检测与识别具有重要意义。对于 EM 系统中鱼类的检测与识别,传统方式是通过人工处理分析 EM 系统中的视频数据3,而人工成本相对较高,需要更多的人力资源,阻碍了EM 系统的普及4。近年来,随着人工智能、计算机视觉等领域技术的不断发展,部分专家学者开始将基于卷积神经网络(convolutional neural network,CNN)应用于解决海洋科学和海洋资源管理中的复杂问题5。目前,已有多位研究学者提出了基于CNN 的商业渔船 EM 视频数据中鱼类的检测与识别,French 等6使用 Mask R-CNN 对 EM 系统视频中的鱼类进行检测与识别,平均精度仅为 63%,而人类观察员的平均精度为 74%86%,前者无法完成物种的细粒度分类,且出现多次错误分类结果。Mujtaba 等7使用 RegNetX-16GF 为基础结构训练了 TunaConvNet-4 和 TunaConvNet-2 两个模型,其中,TunaConvNet-4 模型可识别 4 种相似的金枪鱼,TunaConvNet-2 模型可识别大眼金枪鱼、黄鳍金枪鱼,在对数据集进行数据增强,包括添加图像噪声、更改亮度等操作之后,在两个不同的数据集上分类准确率均高达 90%,但是,对于图像中鱼类的定位需要通过手工标注,往往需要高昂的人工成本和较大的工作量。Van Essen 等8模拟真实海上渔船 EM 系统采集的数据集,以 Yolov3 为基准网络模型,实现了 EM 视频中鱼类的检测与识别,在不同遮挡情况下可以达到 80%的平均检测精度,但网络的泛化能力较弱,未能验证在真实场景下的检测与识别精度是否可以保持。Kay 等9在真实的渔船工作环境下,以 RetinaNet-ResNet101-FPN为基准网络模型,实现了 EM 视频中鱼类的检测与识别,将数据集的标签种类分为 L1、L2、tuna/not-tuna 和 fish,在不同标签下的 mAP 0.5 分别达到 25.4%、33.8%、44.5%和 53.0%,但是模型 收稿日期:2022-12-04 基金项目:国家自然科学基金(41776142)作者简介:袁红春(1971),男,博士,教授。E-mail:hcyuan 通信作者:陶磊(1998),男,硕士研究生。E-mail:3170270371 检测与识别精度还有待进一步提高。目前,基于卷积神经网络的商业渔船 EM 系统中鱼类的检测与识别方法存在两方面的问题:一是,在真实场景下检测与识别精度低,鱼类的细粒度分类较困难;二是,检测与识别精度高的模型,成本较高,并消耗更多的计算资源。对于在真实场景下,如何以更低成本高效完成商业渔船 EM 系统中鱼类检测与识别的研究较少。本研究中,对Yolov8n 模型进行改进,在主干网中使用 GCBlock以提高模型的特征提取能力,对模型的 Neck 端和目标框回归损失函数进行优化,并使用了 FishNet公开数据集,以期完成真实场景下商业渔船 EM 系统中鱼类的检测与识别、鱼类的细粒度分类,并满足检测速度快、精度高和计算成本低的需求。1 FishNet 数据集和数据预处理1.1 FishNet 数据集FishNet9是一个用于商业渔船 EM 系统中鱼类检测和精细视觉分类的数据集,由西太平洋和中太平洋延绳钓金枪鱼渔船上 EM 系统视频以每秒一帧采集的图像组成,标签标注信息由 Sama 数据注释公司提供,并由领域专家手动检查修改。其中,4 种视觉上相似的金枪鱼物种 albacore(长鳍金枪鱼)、yellowfin tuna(黄鳍金枪鱼)、skipjack tu-na(鲣)和 bigeye tuna(大眼金枪鱼)占绝大多数(超过 85%),包含鱼的注释,其余的鱼类注释分为 25 个物种,这 29 个细粒度的类组成了 L1标签集。部分 L1 标签鱼类图像如图 1 所示(随机选择并使用标注框裁剪)。此外,联合国粮农组织ASFIS 渔业统计物种列表根据物理形态将物种分为12 个较粗的类别,如比目鱼(bilfish)、马林鱼(marlin)和旗鱼(saifish)等,该列表中的部分类别组成了 L2 标签集,L1、L2 标签集具体类别和关系如表 1 所示。在商业渔船捕鱼作业过程中,数据集中图像状态可分为理想状态(良好的照明、高可见度和无遮挡)及挑战性状态(夜间作业、恶劣天气、镜头上的水滴和船员混乱活动造成的鱼遮挡),图像状态对比如图 2 所示。某些捕获鱼类在非理想状态下很难在物种级别进行分类,所以在 L1 和 L2 标签集两者都包含许多模糊标签(如 L1 集中的 marlin、tuna 和 unknown,以及 L2 集中的 TUNA 和 OTH)。由于本研究主要是针对鱼类进行高精度检测和识别,在计算最终的平均精度均值时,不考虑标签中的非鱼类标签(如 L1 中的 human、no fish 等和 L2中的 HUMAN、NoF 等)及模糊标签的检测精度。图 1 L1 标签鱼类图像示例Fig.1 Example of L1 labeled fish images图 2 不同场景下图像状态对比Fig.2 Image state comparison in different scenarios435大连海洋大学学报 第 38 卷表 1 L1、L2 标签中类别的对应关系Tab.1 Correspondence of categories in L1 and L2 LabelsL1 标签L1 labelL2 标签L2 labelalbacore(长鳍金枪鱼)ALBbigeye tuna(大眼金枪鱼)BETblack marlin(黑马林鱼),blue marli(蓝马林鱼),In-do Pacific sailfish(印度太平洋旗鱼),marlin(马林鱼),shortbill spearfish(短 嘴 矛 鱼),striped marlin(条纹马林鱼),swordfish(剑鱼)BILLmahi mahi(鲯鳅)DOLhuman(人)HUMANopah(月亮鱼)LAGno fish(无鱼)NoFbrama(乌鲂),escolar(蛇鲭),lancetfish(帆蜥鱼),great barracuda(巴拉金梭鱼),mola mola(翻车鱼),long snoutedlancetfish(长 吻 梭 鱼),oilfish(油 鱼),pomfret(鲳),unknown(未 知),wahoo(刺 鲅),sickle pomfret(镰刀鲳),snake mackerel(蛇鲭)OTHpelagic stingray(远洋黄貂鱼)PLSshark(鲨),thresher shark(长尾鲨)SHARKskipjack tuna(鲣)SKJtuna(金枪鱼)TUNAwater(水)WATERyellowfin tuna(黄鳍金枪鱼)YFT1.2 数据预处理由于 FishNet 数据集中挑战性状态除了船员混乱活动造成的鱼遮挡问题,其余问题均为外界环境因素造成的图像不清晰。为去除环境因素的影响,采用色彩增益加权的 AutoMSRCR(auto multi-scale retinex with color restoration)模型对图像进行增强,增强结果对比如图 3 所示。2 Yolov8n 网络模型及其改进方法2.1 Yolov8n 网络模型Yolov8n 的网络分为输入端、主干网(Back-bone)、Neck 模块和输出端 4 个部分(图 4)。输入端主要有马赛克(Mosaic)数据增强、自适应锚框计算和自适应灰度填充。主干网有 Conv、C2f 和SPPF 结构,其中,C2f 模块是对残差特征进行学习的主要模块,该模块仿照 Yolov7 的 ELAN 结构,通过更多的分支跨层连接,丰富了模型的梯度流,可形成一个具有更强特征表示能力的神经网络模块。Neck 模块采用 PAN(path aggregation network)结构,可加强网络对不同缩放尺度对象特征融合的能力。输出端将分类和检测过程进行解耦,主要包括损失计算和目标检测框筛选,其中,损失计算过程主要 包 括 正 负 样 本 分 配 策 略 和 Loss 计 算,Yolov8n 网络主要使用 TaskAlignedAssigner10方法,即根据分类与回归的分数加权结果选择正样本;Loss 计算包括分类和回归 2 个分支,无 Ob-jectness 分支。分类分支依然采用 BCE Loss,回归分支则使用了 Distribution Focal Loss11和 CIOU(complete intersection over union)损失函数。2.2 特征提取主干网的改进在渔船行进过程中或者遇到风浪天气时,渔船上的电子监控摄像设备经常会粘上水滴,这将会导致拍摄图片中出现模糊区域,渔船的捕鱼作业通常在夜间执行,光线不足导致图像中鱼类目标难以分辨,同时,渔船工作人员的活动和恶劣的天气等均会导致图像不清晰、背景杂乱。这些场景下,卷积图 3 环境因素影响下的图像与增强后图像对比Fig.3 Images under the influence of environmental factors compared to enhanced images535第 3 期袁红春,等:基于改进的 Yolov8 商业渔船电子监控数据中鱼类的检测与识别图 4 改进后的 Yolov8n 网络模型Fig.4 Improved Yolov8n model神经网络在提取图像特征时将会产生大量噪声,割裂像素间的远程依赖关系,最终导致检测与识别准确率降低。捕获远程依赖,被证明有利于计算机视觉任务,可以提高目标检测与识别效果。NLNet 网络12是通过自注意力机制建立模像素对关系,然而 NLNet 对于每一个位置学习不受位置依赖的Attention Map,造成了大量的计算资源浪费13。SENet 网络14用全局上下文对不同通道进行权值重标定,以调整通道依赖。然而,采用权值重标定的特征融合,不能充分利用全局上下文15。GC-Net16网络既能够像 NLNet 网络一样有效地对全局上下文建模,又能够像 SENet 网络一样轻量。GCNet 网络中的 GCBlock 模块结构如图 5(a)所示,该模块主要分为 3 个部分:首先,全局上下文建模采用 11 卷积 Wk和 Softmax 函数来获取 Atten-tion 权值,执行 Attention pooling 以获得全局上下文特征;其次,捕获通道间依赖采用两层 11 卷积Wv1和 Wv2降 低 计 算 量,并 在 ReLU 前 增 加LayNorm 结构以降低优化难度,提高泛化性;最后,特征融合步骤中使用 Broadcast Element-wise Addition 方法来聚合全局上下文特征到每个位置的特征上。GCNet 网络充分结合了 NLNet 网络全局上下文建模能力强和 SENet 节省计算量的优点。因此,本 研 究 中 提 出 在 Yolov8n 主 干 网 中 使 用GCBlock 模块对原 C2f 结构进行改进,形成新的C2fGC 结构,可以使模型完成对远程依赖关系建模(图 5(b)。第一个 C2f 模块的特征图和将此模块替换为 C2fGC 模块后的特征图对比如图 6 所示,可以明显看出,C2fGC 模块的特征图比原 C2f 模块的特征图更加清晰。图 5 GCBlock 结构和 C2fGC 模块Fig.5 GCBlock structure and C2fGC module2.3 特征融合 Neck 端的改进在商业渔船出海工作期间,EM 系统将会产生大量的视频数据,如果使用原 Yolov8n 模型进行鱼类目标检测和识别,将会使用较高的计算资源成本,且检测速度也有待进一步提高。为了提高模型的检测速度,一些有效的轻量级网络模型,如Xception17、MobileNet18、ShuffleNet19和 Ghost-Net20等可通过深度可分离卷积(depth-wise sepa-rable convolution,DConv)提高模型检测速度,但该635大连海洋大学学报 第 38 卷类模型在 FishNet 数据集上的准确性较低,主要是由于深度可分离卷积输入特征图的通道信息在计算过程中是分离的,舍弃了通道之间的信息交互。本研究中使用 GSConv21新型卷积方式(图 6(a),该卷积方式的主要思想是使用均匀混合(Shuffle)操作,将标准卷积生成的信息渗透到深度可分离卷积生成的信息中,使用较低的时间损耗尽可能保留通道之间的信息交互。本研究在 GSConv 的基础上进一步设计了 GS-Bottleneck 和 C2fGS 结构,如图 6(b)、(c)所示,在 Neck 端使用 GSConv 代替普通卷积操作,用C2fGS 模块代替原来的 C2f 模块,在减少模型计算复杂度和推理时间的同时保持其准确性。2.4 IOU 损失函数的改进在 Yolov8n 模型中使用 CIOU22作为检测框回归损失函数,考虑了边界框回归中预测框和真实框的重叠面积、中心点距离和纵横比,即(W=kWgt,H=kHgt)k R+。(1)式中:W 和 H 分别为预测框的宽和高;Wgt和 Hgt分别为真实框的宽和高。式(1)中纵横比仅反映了预测框与真实框宽或高的比值关系,当不同预测框和真实框间的纵横比相同时,此时 CIOU 的计算结果是相同的。图 6 GSConv、GSBottleneck 结构及 C2fGS 模块Fig.6 GSConv structure,GSBottleneck structure and C2fGS module针对这个问题,本研究中使用了 SIOU23作为检测框回归损失函数。SIOU 考虑到所需回归之间的向量角度,重新定义了惩罚指标,SIOU 损失(USIO)包括距离损失、形状损失 和 IOU 损失(UIO)3 个部分,其计算公式为USIO=UIO-(+)/2。(2)3 结果与分析本研究试验环境如下:Linux Ubuntu 16.04.4 LTS 的操作系统,AMD Ryzen 9 5950X16 CPU,24 GB 显存的 NVIDIA GeForce RTX 3090 GPU。使用 Yolov8n 为基准网络模型,超参数设置批大小(batch size)为 16,训练周期(epochs)为 300,初始学习率(learning rate)为 0.01。3.1 评价指标采用计算量衡量网络模型的执行时间,使用每秒 10 亿次的浮点运算数(giga floating-point opera-tions per second,GFLOPS)为单位,计算量越大意味着需要占用更多的计算资源;采用平均精度均值(mean average precision,mAP),评价模型的准确性,即对所有类别的平均精度(average precision,AP)值求平均值,其计算公式为PmA=PA/N。(3)式中:PmA为 mAP;N 为类别总数;PA为以召回率为横轴、精确度为纵轴组成的曲线围成的面积。mAP 0.5 为 IOU 阈值为 0.5 时的平均精度均值。3.2 改进方法效果对比为探究本研究中提出的改进方法的效果,对Yolov8n 模型进行了网络结构改进和参数的优化调整,以 FishNet 数据集作为训练、验证数据集,通过试验结果对比各种改进方法的效果。3.2.1 主干网改进试验由于 Yolov8n 模型的主干网中共有 4 个 C2f 模块,将每个 C2f 模块替换为C2fGC 模块后,4 个 C2fGC 模块中分别有 3、6、6、3 个 GCBlock 结构。同时,使用 NLNet 中的 NL-Block 和 SENet 中的 SE 注意力机制对主干网进行修改。试验结果表明,NLNet 和 SENet 可提高模型的准确性,但计算量分别提高了 11.3 GFLOPS 和4.6 GFLOPS,是原模型的 2.4 倍和 1.6 倍,而使用 C2fGC 模块在计算量小幅增加的同时,检测准确性 mAP 0.5 最高提高了 4.7%(表 2)。由于在主干网中,过多地使用 C2fGC 模块会导致网络层数增加,加剧对数据流的阻力,因此,本研究中仅将主干网中第一个 C2f 模块替换为 C2fGC 模块。3.2.2 Neck 端改进试验在 Neck 端使用不同的轻量化结构对 Yolov8n 模型进行改进,即在 Neck端使用不同的卷积方式和以此卷积方式构造的 C2f模块,展示不同方法对于模型准确性和计算量的影响结果。735第 3 期袁红春,等:基于改进的 Yolov8 商业渔船电子监控数据中鱼类的检测与识别表 2 主干网改进后的模型性能对比Tab.2 Comparison of model performance after Backbone improvement模型 model mAP 0.5/%L1L2计算量/GFLOPS computation网络层数 layerYolov8n41.648.48.2225Yolov8n+NLBlock43.351.719.5342Yolov8n+SE42.750.312.8287Yolov8n+1C2fGC(3GCBlock)43.552.18.3252Yolov8n+2C2fGC(9GCBlock)43.151.48.5315Yolov8n+3C2fGC(15GCBlock)42.449.88.8413Yolov8n+4C2fGC(18GCBlock)41.549.19.1440 试验结果表明,DConv、ShuffleNet 和 Ghost-Convu 卷积方法均可降低模型计算量。由于 DConv方法在卷积过程中无通道信息交互,而 ShuffleNet中提出的分组卷积通道重排和 GhostConv 压缩通道信息的方法,虽然对深度可分离卷积的缺陷有所改进,但改进后的模型检测精度均有所下降。本研究中使用的 GSConv 方法不仅可以降低模型约 10%的计算 量,且 改 进 后 模 型 的 检 测 精 度 略 有 上 升(表 3)。表 3 Neck 端改进后的模型性能对比Tab.3 Comparison of model performance after Neck ter-minal improvement模型 model mAP 0.5/%L1L2计算量/GFLOPS computationYolov8n41.648.48.2Yolov8n+DConv40.246.57.3Yolov8n+ShuffleNet39.846.17.4Yolov8n+GhostConv40.446.77.9Yolov8n+GSConv41.948.67.53.2.3 IOU 损失函数的改进对比常用损失函数IOU、DIOU22、GIOU24、CIOU 和 SIOU 对模型精度的影响,结果表明,各模型均在 250 轮训练后收敛(图 7),而 SIOU 损失函数有最低的边框回归误差,结合表 4 中的试验结果可知,使用 SIOU 损失函数的模型(Yolov8n+SIOU)具有更高的精度,可在原模型(Yolov8n+CIOU)基础上使 mAP 0.5在 L1 和 L2 标签下分别提高 1.2%和 1.1%。3.3 消融试验从表 5 可见:在主干网使用 C2fGC 模块代替原有的 C2f 模块(仅替换第一个 C2f 模块),在L1、L2 两种不同标签类型下,mAP 0.5 分别提升了 1.9%和 3.7%;在特征融合 Neck 端使用C2fGS 模块代替 C2f 模块,可以使计算量降低8.5%,显著减少计算资源的占用;当 C2fGC 和C2fGS 模块配合使用时,可以做到降低计算量的同时提升 mAP;使用 SIOU 损失函数,解决了 CIOU在真实场景下的局限性,对于模型的检测效果有一定提升作用。图 7 不同 IOU 损失函数曲线Fig.7 Loss function curves of different IOU表 4 使用不同 IOU 损失函数的模型性能对比Tab.4Comparison of model performance using different IOU loss function模型 model mAP 0.5/%L1L2Yolov8n+CIOU41.648.4Yolov8n+IOU40.347.5Yolov8n+DIOU41.048.1Yolov8n+GIOU40.447.7Yolov8n+SIOU42.849.5表 5 消融试验结果Tab.5 Ablation experiment resultsC2fGCC2fGSSIOU mAP 0.5/%L1L2计算量/GFLOPScomputation41.648.48.243.552.18.341.948.67.542.849.58.240.051.57.743.652.77.7 综合试验结果,同时使用 C2fGC 模块、C2fGS模块和 SIOU 损失函数,经过 300 轮迭代训练,最终改进后的 Yolov8n 模型在准确率和计算量上均优于原 Yolov8n 模型,在 L1、L2 两种标签类别下,mAP 0.5 分别提升了 2.0%和 4.3%,计算量减少了 6.1%(图 8,表 5)。3.4 不同模型的检测与识别对比试验将改进模型与其他主流目标检测模型包括两阶段有锚框检测模型 Faster R-CNN25、一阶段有锚835大连海洋大学学报 第 38 卷框检测模型 SSD26和一阶段无锚框检测模型FCOS27等进行测试对比,采用相同的数据集、试验条件和图像增强方法,所有模型均未使用预训练模型,根据实际情况分为夜间作业、水滴遮挡摄像头和船员混乱活动 3 个试验。选择 FishNet 数据集中典型的 3 张图片进行检测识别,使用 L1 标签类别,将检测结果在未增强的原图上显示,最终结果如图 9 所示。图 8 L1、L2 标签下模型改进前后的 mAP 曲线对比Fig.8 Comparison of mAP curves before and after algorithm improvement under L1 and L2 tags图 9 不同场景下不同模型对比试验的可视化结果Fig.9 Visual results of comparison experiment with different models in different scenarios935第 3 期袁红春,等:基于改进的 Yolov8 商业渔船电子监控数据中鱼类的检测与识别 在试验 1(夜间作业)中,Faster R-CNN 模型有严重的误检和漏检现象,SSD、FCOS、Yolov8n和 Yolov8n-GCBlock-GSConv 模型基本无误检和漏检现象,但是前 3 种模型物体分类准确度较低;在试验 2(水滴遮挡摄像头)中,Faster R-CNN 和SSD 模型检测结果完全错误,FCOS 和 Yolov8n 模型均漏检了图像右下角的长鳍金枪鱼,Yolov8n-GCBlock-GSConv 模型不仅检测到图像中的所有目标,且检测框比 FCOS 和 Yolov8n 模型更加准确;在试验 3(船员混乱活动)中,前 4 个模型主要存在对 物 体 的 多 次 框 定 问 题,Yolov8n-GCBlock-GSConv 模型则可以准确地检测出所有物体。综合试验结果表明,本研究中提出的 Yolov8n-GCBlock-GSConv 模型具有更高的检测精度、更精确的检测框和更高的分类可信度。从表 6 可见,在 FishNet 数据集下,本研究中提出的 Yolov8n-GCBlock-GSConv 模型在 L1、L2 两种不同的标签下,mAP 0.5 分别达到了 43.6%和52.7%检测精度,远高于其他 4 种目标检测模型,且计算量仅为 7.7 GLOPS。表 6 不同模型的检测性能对比Tab.6 Performance comparison of different models模型model mAP 0.5/%L1L2计算量/GFLOPScomputationFaster R-CNN36.845.9273.4SSD37.746.561.2FCOS39.447.241.7Yolov8n41.648.48.2Yolov8n-GCBlock-GSConv43.652.77.74 讨论4.1 远程依赖关系建模对模型性能的影响为了提高模型的特征提取能力,充分利用像素的上下文信息,在模型中对远程依赖关系建模是相对有效的方法,可以在原模型中融合 NonLocal、SE 注意力和 GCBlock 模块等。Xue 等28基于GCBlock 模块构建了 Yolo-Tea 茶叶病虫害识别模型,在自然环境中如叶子阴影、照明和小尺寸问题下,该模型可以捕获像素的远程依赖关系,具有更高的特征提取能力,平均检测精度(mAP 0.5)较原模型提升了 7.6%。Ye 等29为了使高级特征充分利用其上下文信息,采用了 GCBlock 模块来捕获远程依赖关系,通过提高全局上下文建模和局部特征提取的能力,使低层小目标检测层能够获得更有效的特征信息。Wang 等30使用 GhostNet 和GCBlock 模块构建了基于 Yolov4 框架的轻量级高精度检测模型 GG-Yolov4,用于从奶牛的热图像中自动检测奶牛的眼睛表面温度。模型中引入全局上下文网络(GCBlock)模块,可以获得完善有效的特征信息,弥补了轻量化模型因光照不足而造成的精度损失,提高了轻量化模型的检测精度。本研究中,在 Yolov8n 主干网中使用 GCBlock 模块,对远程依赖关系建模,提高了模型对于真实场景下的商业渔船 EM 系统中鱼类的检测识别精度。这与上述网络模型改进思想一致,在不大幅提升模型计算量和参数的同时,提升了模型的检测与识别精度。4.2 网络模型轻量化对检测效果的影响目前,对目标检测模型进行轻量化设计的主要方法均是从深度可分离卷积发展而来,而 GSConv弥补了深度可分离卷积中舍弃了通道信息交互的缺点。梁秀满等31以 Yolov4 为基础提出的轻量级带钢缺陷实时检测模型 SSD-Yolo,在 Neck 端采用 GSConv 卷积代替标准卷积,结果表明,该文提出的模型相较于 Yolov4,模型参数量减少 71.6%,浮点运算量降低 74.6%,检测精度提高 3.49%,在减少模型参数量和计算量的同时提升了模型的检测精度。Yu 等32在 Yolov5 模型 Neck 层引入GSConv 和 Slim-Neck 模块,提高了模型的精度和其他指标,实现了对机器人手臂和 AGV 小车等生产线设备的实时检测和定位。Yuan 等33将 Yolov5模型应用于 PCB 缺陷检测领域,并在 Neck 端采用了相应的 GSConv 实现网络模型的轻量化,与原Yolov5 模型相比,改进后的模型参数只有原模型的64.5%,平均精度均值比原模型提高 2.4%。Hu等34提出一种交通标志检测与识别模型 PSG-Yolov5,引入 GSConv 后进一步降低了模型的计算复杂度,更好地满足了工业应用。与上述网络模型轻量化思路相同,本研究中在 Neck 端使用以GSConv 为基础设计的 C2fGS 结构,并将 Neck 端使用的普通卷积方式替换为 GSConv,试验结果表明,此方法不仅可以有效降低模型大小,降低模型约10%的计算量,而且改进后模型的检测精度略有上升。5 结论1)本研究中提出的一种改进 Yolov8n 的鱼类检测与识别模型 Yolov8n-GCBlock-GSConv,该模型在 FishNet 数据集上,对于不同的标签 L1、L2 下045大连海洋大学学报 第 38 卷mAP 0.5 分别达到了 43.6%、52.7%,模型最终的计算量为 7.7 GFLOPS,可以更加快速准确地完成商业渔船电子监控数据中鱼类的检测与识别,且计算成本更低。2)将 Yolov8n 原来主干网中的第一个 C2f 模块替换为以 GCBlock 为基础的 C2fGC 模块,提高了模型对远程依赖关系的建模能力,在 Neck 端使用 GSConv 和 C2fGS 代替原模型普通卷积的 C2f 模块,减少了模型计算量,使用 SIOU 代替 CIOU 损失函数计算边框损失,提高了检测精度。表明Yolov8n-GCBlock-GSConv 模型在检测精度和计算量上均优于原 Yolov8n 模型,在 L1、L2 两种标签类别下 mAP 0.5 分别提升了2.0%和4.3%,计算量减少了 6.1%,做到了模型轻量化和检测精度佳两者的兼顾。3)本研究中提出的 Yolov8n-GCBlock-GSConv模型在 L1、L2 两种不同的标签下的 mAP 相较于Faster R-CNN、SSD、FCOS 和 Yolov8n 模型均有提高,模型计算量均有减少,适宜部署在算力资源不足的嵌入式设备上。参考文献:1 MICHELIN M,ELLIOTT M,BUCHER M,et al.Catalyzing the growth of electronic monitoring in fisheriesJ.California Environ-mental Associates and the Nature Conservancy,2018.2 王书献,张胜茂,朱文斌,等.基于深度学习 YOLOV5 网络模型的金枪鱼延绳钓电子监控系统目标检测应用J.大连海洋大学学报,2021,36(5):842-850.WANG S X,ZHANG S M,ZHU W B,et al.Application of an e-lectronic monitoring system for video target detection in tuna long-line fishing based on YOLOV5 deep learning modelJ.Journal of Dalian Fisheries University,2021,36(5):842-850.(in Chinese)3HELMOND A T M,MORTENSEN L O,PLET-HANSEN K S,et al.Electronic monitoring in fisheries:lessons from global experi-ences and future opportunitiesJ.Fish and Fisheries,2020,21(1):162-189.4 NEEDLE C L,DINSDALE R,BUCH T B,et al.Scottish science applications of remote electronic monitoringJ.ICES Journal of Marine Science,2015,72(4):1214-1229.5HUANG T W,HWANG J N,ROMAIN S,et al.Recognizing fish species captured live on wild sea surface in videos by deep metric learning with a temporal constraintC/2019 IEEE International Conference on Image Processing(ICIP).Taipei,China:IEEE,2019:3407-3411.6 FRENCH G,MACKIEWICZ M,FISHER M,et al.Deep neural net-works for analysis of fisheries surveillance video and automated monitoring of fish discardsJ.ICES Journal of Marine Science,2020,77(4):1340-1353.7 MUJTABA D F,MAHAPATRA N R.Convolutional neural net-works for morphologically similar fish species identificationC/2021 International Conference on Computational Science and Computational Intelligence(CSCI).Las Vegas,NV,USA:IEEE,2022:1553-1559.8 VAN ESSEN R,MENCARELLI A,VAN HELMOND A,et al.Au-tomatic discard registration in cluttered environments using deep learning and object tracking:class imbalance,occlusion,and a comparison to human reviewJ.ICES Journal of Marine Science,2021,78(10):3834-3846.9 KAY J,MERRIFIELD M.The FishNet open images database:a dataset for fish detection and fine-grained categorization in fisher-iesEB/OL.2021.arXiv:2106.09178.https:/arxiv.org/abs/2106.09178.10 FENG C J,ZHONG Y J,GAO Y,et al.TOOD:Task-Aligned one-stag