基于计算机视觉的鱼类低氧胁迫行为检测与跟踪算法.pdf

2023年10 月第54卷第10 期农报业机械学doi:10.6041/j.issn.1000-1298.2023.10.040基于计算机视觉的鱼类低氧胁迫行为检测与跟踪算法李道亮姜国旗1，2杨建安1.2白羽12谢 琰1.21,2王承国3（1.中国农业大学国家数字渔业创新中心，北京10 0 0 8 3；2.中国农业大学信息与电气工程学院，北京10 0 0 8 3；3.中国农业大学烟台研究院，烟台2 6 46 7 0）摘要：为了能准确检测、跟踪加州鲈鱼因水中溶解氧含量低产生的胁迫行为，本文构建了一种改进的YOLOv5与DeepSORT组合网络算法。在算法方面提出2 个改进方案：在原YOLOv5的Backbone和Neck中分别加人2 个基于移位窗口的自注意力SwinTransformer模块，提升了网络对目标特征信息的提取能力，以此提升原模型的检测效果；采用Warmup和CosineAnnealing结合的学习率策略，使多目标跟踪算法DeepSORT前期收敛速度更快、更稳定。实验结果表明，在目标检测方面，相对于原YOLOv5，改进的YOLOv5的mAP0.5、m A P 0.5:0.9 5和召回率分别提升1.9、1.3、0.8 个百分点，在不完全遮挡情况下，改进的算法表现出更好的检测效果。在目标跟踪方面，DeepSORT算法的MOTA、M O T P和IDF1分别提升4.0、0.7、10.7 个百分点，并且加州鲈鱼在遮挡前后的ID切换频率得到明显抑制。改进的YOLOv5与DeepSORT跟踪算法更适合于检测、跟踪加州鲈鱼的低氧胁迫行为，能够为加州鲈鱼的养殖提供技术支持。关键词：加州鲈鱼；胁迫行为；目标检测；多目标跟踪中图分类号：TP391文献标识码：A文章编号：10 0 0-12 9 8（2 0 2 3）10-0 39 9-0 8OSID:Detection and Tracking Algorithm of Fish Hypoxia Stress BehaviorBased on Computer VisionLI DaoliangJIANG GuoqiYANG Jianan.2BAI Yu.2XIEYan1,2:1,21,2WANG Chengguo3(1.National Innovation Center for Digital Fishery,China Agricultural University,Beijing 100083,China2.College of Information and Electrical Engineering,China Agricultural University,Beijing 100083,China3.Yantai Institute,China Agricultural University,Yantai 264670,China)Abstract:In order to accurately detect and track the stress behavior of micropterus salmoides due to lowdissolved oxygen content in water,an improved YOLO v5 and DeepSORT combined network algorithmwas constructed.In terms of algorithm,two improvement schemes were proposed:two self-attention SwinTransformer modules based on shifted windows were added to the Backbone and Neck of the originalYOLO v5,which improved the networks ability to extract target feature information,thereby improvingthe detection effect of the original model;the learning rate strategy combined with Warmup and CosineAnnealing made the convergence speed of the multi-target tracking algorithm DeepSORT faster and morestable in the early stage.The experimental results showed that in terms of target detection,compared withthe original YOLO v5,the mAP 0.5,mAP 0.5:0.95 and recall rate of the improved YOLO v5 wereincreased by 1.9,1.3 and 0.8 percentage points,respectively.In the case of incomplete occlusion,theimproved algorithm could show better detection results.In terms of target tracking,the MOTA,MOTP,and IDF1 of the DeepSORT algorithm were increased by 4.0,0.7 and 10.7 percentage pointsrespectively,and the ID switching frequency of micropterus salmoides before and after occlusion wassignificantly suppressed.The improved YOLO v5 and DeepSORT tracking algorithms were more suitablefor detecting and tracking the hypoxic stress behavior of micropterus salmoides,and can provide technicalsupport for the breeding of micropterus salmoides.Key words:micropterus salmoides;stress behavior;target detection;multi-target tracking收稿日期：2 0 2 3-0 3-2 2 修回日期：2 0 2 3-0 5-15基金项目：国家自然科学基金项目（6 2 0 7 6 2 44）和山东省科技厅项目（2 0 2 2 LYXZ012）作者简介：李道亮（19 7 1一），男，教授，博士生导师，主要从事农业智能信息处理与农业农村信息化研究，E-mail：d l i a n g l c a u.e d u.c n农2023年400机报学业械0引言在水产养殖中，鱼类福利对于鱼的生长有着至关重要的影响1-3,其中溶解氧是影响鱼类福利水平的重要指标之一。在工厂化水产养殖中，溶解氧含量与鱼类养殖密度密切相关，一旦水池长时间处于低氧状态下，鱼将会大面积的出现生长放缓、生殖能力下降、免疫功能低下和发病率、死亡率升高等现象4-5。传统水产养殖方式主要依赖养殖人员的经验和肉眼观察来判断鱼是否受低氧环境胁迫，但其实时性差、可靠性低、准确性低。为了工厂化水产养殖能够尽可能减少人工干预、增加鱼的福利以取得最大化的收益，有必要提出一种对鱼的低氧胁迫行为可实时、可靠、准确判断的方法。计算机视觉技术作为一种非人侵式且稳定性较好的方法，逐渐成为鱼类物种行为检测的首选6 。计算机视觉常见的任务包括图像分类、目标检测7-8 、目标跟踪9-10 ，在水产养殖行业已经得到了较广泛的应用。针对浑浊的水下环境，HUSSAM等!I将彩色多尺度Retinex颜色增强技术与YOLO算法结合以实现较高的鱼类检测精度。DU等12 提出了一种ResNet50-LSTM算法来识别鱼育种过程中的基本行为，该算法在光照强度低、养殖密度高、养殖环境复杂的养殖车间中检测效果显著，有很好的鲁棒性和有效性。CAI等13 将YOLOv3和MobileNet进行结合，优化了MobileNet骨干网络中特征图的确定策略，相对于原模型其检测精度提升3.06个百分点，且推理速度也有明显提升。HU等114 提出了一种改进的YOLOv4算法用于检测残余饲料颗粒，其对密集连接和去余操作进行特征映射改进，AP50增长2 7.2 1个百分点，计算量减少30%，但其更适用于极小目标的检测随着深度学习的迅速发展和目标检测算法精度不断提升，基于目标检测的多目标跟踪算法已成为主流，根据目标跟踪类型分为单目标跟踪和多目标跟踪。WANG等15 提出了一种检测、跟踪鱼类异常行为的YOLOv5和SiamRPN+组合网络，其主要对检测头、上采样和下采样进行改进，检测精度和速度效果较好，但SiamRPN+采用送代的方式实现多目标跟踪，原理上还是单目标追踪，当迭代次数过多时，会消耗大量的GPU资源。SI等16 1采用YOLOv5和多目标跟踪技术DeepSORT开发了一套准确可靠的多斑马鱼幼虫跟踪系统，其检测精度和跟踪精度的鲁棒性相对较好，但对于检测器和跟踪器还有很大的提升空间。因此，本文构建一种改进的YOLOv5和DeepSORT组合网络算法用于检测和跟踪鱼类低氧胁迫行为，为鱼类高效养殖提供技术支持，其主要包含检测器YOLOv5和跟踪器DeepSORT两部分，在检测器原基础模型上增加基于移位窗口的自注意力机制SwinTransformer用于提升YOLOv5中Backbone和Neck对特征信息的提取能力，进而提高YOLOv5对鱼类低氧胁迫行为检测精度，在跟踪器方面采用Warmup和CosineAnnealing结合的策略对学习率进行调整以加速模型收敛，以提升跟踪模型整体性能1数据采集与数据处理1.1数据采集鱼类低氧胁迫行为识别所用到的实验数据取自于重庆农业科学院鱼菜共生AI工厂，选取对象为50条亚成年加州鲈鱼，采用海康威视变焦摄像头（4.0 10 像素）以速度2 5f/s拍摄视频数据片段共90个，拍摄时间为2 0 2 2 年6 一8 月，期间拍摄时间段为09:0011:30、13:30 17:30。整个视频数据采集的过程中，除实验池中溶解氧含量会出现大幅度变化外，其余水质参数指标均控制在亚成年加州鲈鱼正常生活范围内，实验场地（1.5m2m）如图1所示。图1实验场地Fig.1Experimental site1.2数据处理从拍摄的视频中抽取图像序列并通过Labelimg工具进行标注、Python图像截取，其中1439 幅图像用于检测器，9 18 4幅图像用于跟踪器。对于检测器图像，为了防止过拟合、避免样本不均衡，并为了提升模型的鲁棒性及泛化能力，分别对其中的2 0 0、600、17 0 幅图像添加高斯噪声、椒盐噪声及亮度调节，并对数据集进行随机划分，训练集与验证集图像数量比为8：2。对于跟踪器图像，将截取图像按照Market1501数据集格式进行分配，训练集与验证集比为9:1。2目标检测和目标跟踪算法原理采用检测和目标跟踪算法YOLOv5与输入端401李道亮等：基于计算机视觉的鱼类低氧胁迫行为检测与跟踪算法第10 期DeepSORT。YO LO v 5作为检测器对视频顿中的目标进行检测，检测结果作为跟踪器DeepSORT的输人，更高的检测精度能提升DeepSORT的跟踪性能。DeepSORT提取检测器检测的目标特征，计算前后两顿目标的匹配程度，为每个所追踪到的目标分配对应ID。2.1目标检测算法目前，主流的目标检测算法主要分为One一Stage和TwoSt a g e。O n e-St a g e 直接通过主干网络给出类别和位置信息，其算法包括YOLOL17-181系列、SSD19和 EFficientDet20。T w o-St a g e 先由算法生成一系列样本的候选框，再通过卷积神经网络提取相关特征进行目标的分类和定位，其代表算法为R-CNN21系列。通常情况下,前者相对后者检测速度较快，在某些情况下检测精度略高。2.1.1SwinTransformer注意力机制SwinTransformer22作为一种通用的计算机视觉主干网络，主要解决Transformer从NLP领域调整到CV领域所带来的实体尺寸、分辨率等差异。其作为一种分层级的Transformer，通过移位窗口将自注意的计算限制在非重叠的局部窗口上，并允许跨窗口连接。SwinTransformer整体架构如图2 a所示，它首先是通过面片分割模块将输人的RCB图像分割成不重叠的面片，每个面片都被看作一个“token”，其特征被设置为原始像素RCB的连接。本文使用的是44的面片尺寸，其特征维数为443=48，并将该原始值特征上应用线性嵌人层，将其投影到任意维度C。Sw in T r a n s f o r m e r 共包含4个阶段，每个阶段都包含2 部分，分别是PatchMerging（第1阶段为Linear Embedding）和连续的SwinTransformerBlock，目的是用来计算相关性和采样，其第1阶段不会改变特征图尺寸，其余3个阶段在改变特征图的同时改变了通道数。SwinTransformerBlock是在标准的Transformer基础上，替换多头注意力计算部分MSA（M u lt i-h e a d s e lf-attention）为基于移位窗口的模块WM SA(Windows multi-head self-attention）和 SW-MSA（Sh i f t e d w i n d o w s m u l t i-h e a d s e l f-a t t e n t i o n）,其余结构不变，如图2 b所示HWHWHWHWHW-48xCx2Cx4Cx8C一16*16XXXX44448832*32+HxWx3Stagelx2Stage2x2Stage3x6Stage4x2MLPMLPLNULMSULMSUTMSUTMSW-MSASW-MSALNLN-(a）Sw i n T r a n s f o r m e r 整体架构图(b)SwinTransformerBlock图2 SSwinTransformer注意力机制Fig.2Swin Transformerattention mechanism2.1.2YOLOv5算法优化本文构建了一种新的目标检测算法ST-YOLOv5，网络结构如图3所示，其主要由4部分组成，分别为输人端、Backbone、Ne c k 和Prediction。输人端主要对输人数据进行Mosaic数据增强、自适应锚框计算以及自适应图像缩放。Backbone主要由Focus、C3及SPP等模块组成，主要目的是目标特征提取。Neck采用FPN+PAN结构，其中FPN和PAN的走向相反，前者从上往下传递强语义特征，后者从下往上传递强定位信息，让模型的参数在不同的层次进行聚合。Prediction的主体部分由3个Detect组成，其利用基于网格的anchor在不同尺度的特征图上进行目标检测，进行最终预测的输出。在STYO LO v 5中，首先将原YOLOv5的C3模块与SwinTransformer模块结合成C3STR模块，并分别对Backbone中最后2 个C3模块、Neck中前2个C3模块进行C3STR模块的改进替换。经过实Focus16ConcatC3STRConv2dConvpsampleConvConvConcatonvC3STR20C3Conv2dConcat2ConvConvsampleConcatC3STR10ConvConv2dConvNeckPrediction8SPPSwinC3STRC3STRC3TransformerBackbone图3ST-YOLOv5网络结构图Fig.3ST-YOLOv5network structure农4022023年报机学业械验对比发现,ST-YOLOv5的检测效果明显优于原YOLOv5。因此，ST-YOLOv5更适合作为检测器2.2目标跟踪算法SORT算法是DeepSORT的前身2 3-2 4,其跟踪过程是首先通过检测器（如FasterRCNN、YO LO等）把每一顿的物体检测出来，随后通过卡尔曼滤波算法2 5-2 和匈牙利算法(2 7 分别进行顿预测、匹配。SORT检测速度较快，但是当物体发生遮挡时会出现频繁的ID切换，进而导致跟踪效果不佳。因此，DeepSORT在SORT模型的基础上引人级联匹配（M a t c h i n g c a s c a d e）和新轨迹确认（Confirmed），可以有效地改善遮挡情况下目标跟踪的效果2.2.1学习率策略在训练过程初期因距离目标太远，一般采用较大的学习率，但较大的学习率容易导致不稳定性。DeepSORT的学习率策略为每过2 0 轮迭代，学习率变为原学习率的1/10。而这种学习率策略会使学习率出现阶梯现象，导致模型不能快速、稳定收敛。为了解决这种慢且不稳定的收敛情况，本文采用Warmup策略2 8 对前5个epoch进行预热学习率调整。该策略的核心在于逐步预热，它将学习率从一个小值逐渐增加到一个大值，可有效地解决模型前期收敛慢、不稳定问题通常在模型训练过程中，随着模型训练的进行，会逐渐降低学习率，这样才有助于找到最优解。因此，当采用Warmup策略逐步预热学习率到所设预值时，则采用Cosine Annealing策略2 9-30 对学习率进行调整。在整个训练过程中学习率的变化曲线如图4所示。由图4可知，采用Warmup和CosineAnnealing结合的学习率调整策略能够更好地减少学习率阶梯现象。通过大量测验来验证这种学习率结合调整策略的可行性，验证结果如图5所示。从收敛角度看，相对于原学习率调整策略，Warmup和CosineAnnealing结合的学习率调整策略能够加快跟踪模型收敛速度，减少了模型前期在收敛过程中阶梯现0.0010原学习率Warmup+CosineAnnealing学习率0.0005050100150送代次数图4学习率变化曲线Fig.4Learning rate change curves2.0,0.6r训练集训练集1.5验证集验证集0.41.00.20.5010203040 50600102030405060送代次数送代次数（a）原学习率策略4.0r1.0训练集训练集3.0验证集一验证集2.00.51.001020304050.600102030405060送代次数送代次数(b）W a r mu p+Co s i n e A n n e a l i n g 学习率策略图5不同学习率策略下损失值和错误率的变化曲线Fig.5Change curves of loss value and error rate atdifferent learning rates strategy象。因此，在跟踪模型训练过程中，采用Warmup和CosineAnnealing结合的学习率策略比原有的学习率策略更适用于DeepSORT模型训练。2.2.2DeepSORT算法DeepSORT核心思想是采用传统的单假设追踪方法，使用递归的卡尔曼滤波和逐顿的数据关联。DeepSORT首先采用卡尔曼滤波预测轨迹，随后利用匈牙利算法将检测框和预测框进行级联匹配和IOU匹配，最后进行卡尔曼滤波更新，算法流程如图6 所示。未确认态删除预测框检测框无目标检测框无目标跟踪框预测框有目标预测框有目标确认态连续顿 最大跟丢顿检测框有目标检测框有目标跟踪框连续顿 最大跟丢顿检测框级联匹配OU匹配预测框无目标预测框无目标检测框和预检测框和预测框匹配测框匹配确认态预测框新建目标跟踪器链卡尔曼预测卡尔曼滤波器未确认态预测框卡尔曼更新图6DeepSORT跟踪流程Fig.6DeepSORTtracking processa中第个缺氧鲈鱼检测框的状态403第10 期李道亮等：基于计算机视觉的鱼类低氧胁迫行为检测与跟踪算法在轨迹状态预测方面，相对于SORT算法中的7个维度信息,DeepSORT则使用（u,h,x，y，,h)8个维度信息对运动状态进行描述，分别为检测框的中心坐标（u,）,长宽比，高h,以及这4个参数在图像坐标中各自的速度。并且采用带有恒定运动速度和线性观测模型的标准卡尔曼滤波器进行轨迹的预测，其观测值为（u,h）。在卡尔曼滤波器预测期间，使用计数器来对关联顿进行计数，如果在未超过预定值前轨迹关联则计数器重置0，否则删除该轨迹在匹配问题上，DeepSORT采用匈牙利算法来解决检测框和预测框之间关联性的问题。其中对于运动和外观信息的整合采用马氏距离来描述，其计算式为d()(i,j)=(d,-y.)s:(d,-y.)(1)第i个目标跟踪器对缺氧鲈鱼经过卡尔曼滤波后预测框的状态S,检测框和预测框之间的协方差矩阵当处在缺氧状态下，加州鲈鱼由于自身产生的应激反应会产生激烈游动，并且在密集型养殖场景中，较长时间遮挡现象普遍存在。这些现象会使卡尔曼预测的位置不准确，导致马氏距离的度量不准确，进而导致ID切换现象频繁发生。对于这种不确定性的现象,DeepSORT引人余弦距离作为辅助,对于每个检测框d,求一个外观描述符ri，其中r,=1。此外,为每个跟踪器构建一个存储序列用来存放最近关联成功的10 0 顿的R，其中R，=(r1。第i个跟踪器的R.与当前第个检测结果之间的最小余弦距离d(2）（i,j)的计算式为d(2)(i,j)=min/1-rfr(c Iri)R.（2)（DeepSORT分别从运动物体可能位置的信息和外观信息两个方面考虑分配问题。为了构建关联问题，DeepSORT通过加权和将两个指标结合，其计算式为Cij=d(1)(i,j)+(1-)d(2)(i,j)(3)3实验结果与分析3.1检测器和跟踪器评估指标3.1.1目标检测器评估指标对ST-YOLOv5性能评价主要指标是精确率、召回率、平均精度、顿率以及权重。在指标计算方面，在ST-YOLOv5中采用混淆矩阵，真阳性（Truepositive,TP）、真阴性（True negative，T N）、假阳性（Fa l s e p o s i t i v e,FP）、假阴性（False negative,FN）。3.1.2目标跟踪器评估指标在多目标跟踪评估方面，采用TrackEval工具对DeepSORT进行整体性能评估，主要评估指标分别为跟踪准确度（MOTA）、跟踪精度（MOTP）、ID 切换数（IDSW）和综合指标（IDF1）。其中MOTA是跟踪准确度，MOTA是对漏报数（FN）、误报数（FP）、ID切换数（IDSW）的一个整体性评估，是衡量多目标跟踪模型DeepSORT在检测和跟踪方面一个非常直观的性能参数。MOTA的计算式为E(FN+FP+IDSW)MOTA=1-(4)N式中N一一真实轨迹总数量MOTP为跟踪精度，主要考虑的是检测框和目标真实边框的重叠情况，其计算式为d.MOTP=(5)C式中di一当前帧位置匹配误差一当前顿匹配成功个数IDF1为正确识别的检测数与平均真实数和计算检测数之比，主要评估DeepSORT算法的稳定性，值越大表示越稳定，其计算式为IDTPIDF1(6)IDTP+0.5IDFP+0.5IDFN式中IDTP-一正确识别的目标数量IDFP-错误识别为目标数量IDFN-未能识别为目标数量3.2目标检测器选型针对于不同场景和目标物，One一Stage和Two-Stage的算法检测效果不同。为了对目标检测模型进行准确选型，分别对One-Stage中的SSD、YO LOv4、YO LO v 5、YO LO v 6、YO LO v 7、Ef f i c i e n t D e t 算法和Two-Stage中的FasterR-CNN进行对比实验，其实验结果如表1所示。表中mAP0.5表示I0U阈值为5时识别对象的平均精度。表1目标检测算法对比实验结果Tab.1Comparative experimental results oftarget detection algorithmsmAP0.5/模型占用顿率/类型模型%内存量/MB(fs)SSD75.490.6174.3YOLOv495.5244.422.4YOLOv595.113.747.6One-StageYOLOv694.038.868.1YOLOv793.1142.345.8EfficientDet61.315.114.6Two-StageFaster R-CNN94.8315.010.42023年农404报学机械业由表1可知,Two一Stage中最具有代表性的算法FasterR-CNN在顿率和权重方面均不如YOLO系列，其实时性较差，且不适合在移动端部署。在One-Stage中SSD和EfficientDet的mAP0.5远低于YOLO系列。对于YOLO系列，YOLO v4的mAP0.5略高于YOLOv5，但YOLOv5的顿率远高于YOLOv4，且YOLOv5权重远远小于YOLOv4的权重。YOLOv6的帧率高于YOLOv5，但mAP0.5和权重均不如YOLOv5。YO LO v 7 的mAP0.5、权重、顿率均不如YOLOv5。鉴于本研究对于检测精度和推理速度要求较高，因此采用YOLOv5作为基础目标检测模型YOLOv5提供4种规模的版本，分别为YOLOv5s、YO LO v 5m、YO LO v 51、YO LO v 5x。为了更加准确对目标检测模型版本进行选型，对以上4种规模的版本进行了实验对比，对比结果如表2 所示。表中mAP0.5:0.95表示不同I0U阅值（从0.5到0.95，步长0.0 5）上的平均精度均值。表2YOLOv5不同规模版本对比实验结果Tab.2Comparative experimental results of YOLO v5versions of different scales%模型mAP0.5mAP0.5:0.95精确率召回率YOLOv5s95.154.295.293.1YOLOv5m94.652.996.490.7YOLOv5194.253.494.692.0YOLOv5x93.652.294.491.7由表2 可知，YOLOv5s的mAP、召回率均高于其余3种，且YOLOv5s结构相对简单，实时检测性能好。本文将采用YOLOv5s作为基础检测器3.3不同注意力机制下检测器性能评估在深度学习中，注意力机制已经成为一个重要的概念31,其本质是通过网络自主学习生成一组权重系数，并以动态加权的方式来着重强调所关注的区域，同时忽略不相关信息。在目标检测领域，常见的注意力机制为SE、ECA、CA、CBA M 等，它们与SwinTransformer都能提升目标检测模型对特征信息提取的能力，影响目标检测模型的精度。为了探究YOLOv5模型在不同注意力机制下提取加州鲈鱼低氧胁迫行为信息的能力，进行了一系列的对比实验，主要参考指标有mAP、精确率、召回率，其结果如表3所示。当把SE和ECA添加到YOLOv5模型中，其模型在mAP0.5、m A P 0.5:0.9 5和精确率方面都有所降低。对于注意力机制CBAM,添加后其各项指标均不如原YOLOv5模型。注意力机制CA在mAP0.5、m A P 0.5:0.9 5方面相较于原YOLOv5模型有一定的提高，但从整体指标对比来看提升效果远不如本文所提出的STYO LO v 5模型。ST-YOLOv5在mAP0.5、m A P 0.5:0.9 5和召回率方面分别提升1.9、1.3、0.8 个百分点。因此，本文所提出的ST-YOLOv5更适合于检测加州鲈鱼的低氧胁迫行为表3不同注意力机制对比实验结果Tab.3Comparative experimental results ofdifferent attention mechanisms%mAP模型mAP0.5精确率召回率0.5:0.95YOLOv595.154.295.293.1YOLOv5+SE94.853.894.693.6YOLOv5+ECA94.954.194.893.5YOLOv5+CBAM94.953.793.692.5YOLOv5+CA96.355.394.092.3ST-YOLOv597.055.593.693.9为了进一步验证STYO LO v 5模型检测加州鲈鱼低氧胁迫行为的有效性，对包含加州鲈鱼低氧胁迫行为的随机视频帧图像进行实例测验，视频帧图像包含遮挡和非遮挡两种情况，其实例测验结果如图7 所示。由图7 可知，在相同实验环境下，以上6种模型均能够识别到加州鲈鱼低氧胁迫行为。但综合视频顿图像的遮挡和非遮挡两种情况来看，对于真实的加州鲈鱼低氧胁迫行为，ST-YOLOv5模型所提供的置信度相对更高，表明基于移位窗口的自注意力机制SwinTransformer模块能够最大程度地提升目标检测模型YOLOv5对加州鲈鱼低氧胁迫行为信息的提取能力，进而提升模型对目标行为的检测效果。(a)YOLOv5(b)YOLOv5+SE(c)YOLOv5+ECA(d)YOLOv5+CBAM(e)YOLOv5+CA(f)ST-YOLOv5图7不同注意力机制下YOLO实例检测图像Fig.7YOLO instance detection images under differentattention mechanisms3.4跟踪模型性能评估为了验证本文所提出的关于加州鲈鱼缺氧行为405李道亮等：基于计算机视觉的鱼类低氧胁迫行为检测与跟踪算法第10 期跟踪模型的有效性，在所采集的数据集中随机挑选一段视频进行跟踪测验，其测验结果如图8 所示。根据优化前后DeepSORT的实例跟踪结果，在遮挡和非遮挡情况下，优化后的跟踪模型并没有出现漏检、ID切换、重检的情况，表明本文所优化的跟踪模型相较于原跟踪模型性能优异(a)优化前DeepSORT(b）优化后DeepSORT图：实例跟踪结果Fig.8Instance tracking results为了对优化后多目标跟踪模型做一个整体性能评估，采用跟踪性能评估工具TrackEval,并在采集的加州鲈鱼低氧胁迫行为视频数据集中随机选取一段视频用于跟踪模型整体性能评估，选取的视频数据片段采用DarkLabel标注工具进行目标真实路径标注，标注结果和跟踪模型输出结果作为评估工具的输入，优化前多目标跟踪模型与优化后多目标跟踪模型评估结果如表4所示。表4足跟踪模型评估结果Tab.4Tracking model evaluation results模型MOTA/%MOTP/%IDF1/%IDSW优化前DeepSORT83.370.982.82优化后DeepSORT87.371.693.50由表4可知，所提出的改进YOLOv5与DeepSORT模型相对于优化前跟踪模型在MOTA、MOTP和IDF1方面分别提升4.0、0.7、10.7 个百分点。在IDSW方面，改进后的算法模型在跟踪缺氧的加州鲈鱼时，并没有因遮挡出现ID切换的情况。综上所述，改进后的算法模型在遮挡和非遮挡情况下性能表现优异，更适用于加州鲈鱼低氧胁迫行为的跟踪。4结论（1）针对工厂化水产养殖中传统水产养殖方式对鱼类低氧胁迫行为判断存在准确率低、可靠性差、实时性差等问题，构建了一种基于ST-YOLOv5的多目标跟踪模型DeepSORT,该模型在鱼类低氧胁迫行为检测、跟踪方面性能表现优异，为鱼类养殖人员提供了一定的技术支持。（2)对不同类型、不同规模版本的目标检测算法进行对比实验，最终选择YOLOv5s作为基础目标检测算法，并构建目标检测算法STYO LO v 5。STYO LO v 5相对于基础目标检测算法在mAP0.5、m A P 0.5:0.9 5和召回率方面分别提升1.9、1.3、0.8 个百分点，模型的整体性能更优异。（3）在STYO LO v 5的基础上引人多目标跟踪模型DeepSORT，并采用Warmup和CosineAnnealing结合的学习率调整策略加速跟踪模型收敛。实验结果表明，基于ST-YOLOv5的跟踪模型DeepSORT在MOTA、M O T P和IDF1方面分别提升4.0、0.7、10.7 个百分点，并且ID的切换频率得到抑制参考文献1WANG G,AKHTER M,LIU C,et al.Automatic recognition of fish behavior with a fusion of RGB and optical flow data basedon deep learning J.Multidisciplinary Digital Publishing Institute,2021,11:2774.2LI X,HAO Y,ZHANG P,et al.A novel automatic detection method for abnormal behavior of single fish using image fusionJ.Computers and Electronics in Agriculture,2022,203:107435.3何佳，黄志涛，宋协法，等基于计算机视觉技术的水产养殖中鱼类行为识别与量化研究进展J渔业现代化，2 0 19，46(3):7-11.HE Jia,HUANG Zhitao,SONG Xiefa,et al.Research progress of fish behavior recognition and quantification in aquaculturebased on computer vision technologyJ.Fishery Modernization,2019,46(3):7-11.(in Chinese)4PAOLO D,JOHN F S,STEFANO M.The effect of hypoxia on fish schooling J.The Royal Society,2017,327:20160236.5NIU B,LI G,PENG F,et al.Survey of fish behavior analysis by computer visionJ.Journal of Aquaculture,2018,9:5.6张璐，黄琳，李备备，等。基于多尺度融合与无锚点YOLOv3的鱼群计数方法J。农业机械学报，2 0 2 1,52（增刊）：2 37-2 44.ZHANG Lu,HUANG Lin,LI Beibei,et al.Fish school counting method based on multi-scale fusion and no anchor YOLO v3J.Transactions of the Chinese Society for Agricultural Machinery,2021,52(Supp.):237-244.(in Chinese)7XU A,ZHANG M,SONG W,et al.A systematic review and analysis of deep learning-based underwater object detectionJ.Neurocomputing,2023,527:204-232.8KAUR R,SINCH S.A comprehensive review of object detection with deep learning JJ.Digital Signal Processing,2022,132:103812.农2023年406机报业学械9MEI Y,SUN