基于深度学习的鱼类跟踪技术研究进展.pdf

第 51 卷第 2 期渔 业 现 代 化Vol.51 No.22024 年 4 月FISHERY MODERNIZATIONApr.2024DOI:10.3969/j.issn.1007-9580.2024.02.001收稿日期:2023-10-19基金项目:国家自然科学基金项目(61936014);崂山实验室专项经费(LSKJ202201804):中国水产科学研究院基本科研业务项目(2020TD82)作者简介:李鹏龙(2000),男,硕士研究生,研究方向:计算机图像处理、深度学习等领域。E-mail:15142892813 通信作者:张胜茂(1976 ),男,博士,研究员,研究方向:计算机视觉、渔业遥感等领域。E-mail:ryshengmao ;沈烈(1981),女,博士,讲师,研究方向:渔船视觉识别。E-mail:shenlie 基于深度学习的鱼类跟踪技术研究进展李鹏龙1,张胜茂1,2,沈 烈1,吴祖立1,2,唐峰华2,张 衡2(1 大连海洋大学航海与船舶工程学院,辽宁 大连 116023;2 农业农村部渔业遥感重点实验室,中国水产科学研究院东海水产研究所,上海 200090)摘要:近年来,水产养殖和渔业资源保护的智能化发展迅速,对鱼类跟踪技术的需求也随之增加。传统的鱼类跟踪方法主要依赖于目视观察和标签追踪,存在效率低、应用范围有限、准确率不高等问题,限制了其推广应用。随着深度学习技术在计算机视觉领域的快速发展,基于深度学习的鱼类跟踪技术能够提供准确、客观、可扩展和自动化的跟踪方法。首先,介绍了鱼类跟踪技术的跟踪对象和 4 种深度学习鱼类追踪方法,分别是语义分割、实例分割、目标检测和目标分类。其次,介绍了鱼类跟踪技术如何获取鱼类轨迹与姿态、鱼类数量以及鱼类体长等鱼类目标跟踪信息。接着,介绍了基于深度学习的鱼类跟踪技术在鱼类疾病、鱼类摄食行为以及鱼类健康状态方面的应用,并从低对比度和纹理模糊、图像颜色失真以及遮挡和变形等 3 个方面,探讨了目前基于深度学习的鱼类跟踪技术的主要问题和一些相应的解决方法。最后,对基于深度学习的鱼类跟踪技术的发展前景进行了总结和展望。研究认为:基于深度学习的鱼类跟踪技术具有更高的准确度和客观性,为不同场景下的实际应用提供了更多解决方案,该技术有望在水产养殖管理、鱼类科学研究以及海洋环境保护等领域发挥更重要的作用,为相关领域提供更多的数据和支持。关键词:鱼类跟踪;深度学习;鱼体测量;鱼类行为中图分类号:S951.2 文献标志码:A 文章编号:1007-9580-(2024)02-0001-013 近年来,随着深度学习技术不断发展,深度学习逐渐成为各领域的研究热点。通过深度学习,计算机可以自动从图像、声音和文本中提取高级特征,实现图像分类、目标检测、语音识别、机器翻译等任务。深度学习也为鱼类行为检测提供了一种高效、便捷的方法 1。深度学习在全局特征提取方面的优异表现,使得深度学习的鱼类跟踪方面成为生态学研究、渔业管理、环境监测和水产养殖等领域的研究热点2,实现对鱼类的精准追踪,有利于了解鱼类在不同环境条件下的适应性和生态功能。鱼类是人们获取优质蛋白的重要来源,深度学习的鱼类跟踪技术可以帮助水产养殖场监测鱼类的生长程度和行为方式。通过实时跟踪和分析鱼类的运动轨迹 3,可以及时调整养殖模式来提高养殖规模和保护生态环境。传统的鱼类跟踪方法主要采用手动标记、视觉观察和人工计数。传统跟踪方法不但效率低下且准确性不高,需要耗费大量人力和时间,已经难以满足目前鱼类跟踪的要求 4。随着深度学习技术领域的迅速发展,可以从数量众多的鱼类视频和图像中学习鱼类行为和特征实现对鱼的实时高精度跟踪。深度学习技术在鱼类跟踪中的应用备受关注,由于水下环境恶劣、可见性差、拍摄图片品质差等因素导致传统方法的识别效果不佳。深度学习算法通过利用强大的学习能力,可以有效地解决这些问题。近年来,基于深度学习的鱼类识别算法不断涌现,如基于 R-CNN 深度学习的鱼类目标检测算法、YOLO 系列算法的水下模糊环境下鱼类识别模型被提出,可以自动提取图像中的特征,并实现对鱼类的准确识别。基于深度学习的鱼类跟踪技术通过语义分割、实例分割、目标检测渔 业 现 代 化2024 年和目标分类等方式为鱼类数量统计、行为分析、体长与体质量测量以及疾病监测等领域的决策制定和管理提供科学依据。1 跟踪对象1.1 单目标跟踪基于深度学习的鱼类跟踪技术主要分为数据准备和预处理、模型选择和训练、目标检测和追踪、模型优化、结果可视化和评估 5 个步骤。单目标跟踪是指跟踪视频图像中的单个鱼体目标。单目标追踪可以通过提取目标特征数据,计算鱼类的鱼鳍和鱼体特征曲线得到鱼的轨迹参数,也可以通过计算鱼体质心坐标来推算鱼的速度和加速度。单目标追踪主要应用在鱼类异常行为和鱼类轨迹检测,鱼类对外界环境十分敏感,在水质恶劣、氧气浓度低、食物不足、盐度变化大5的环境容易产生异常行为,如果不能及时处理,会造成大量鱼类死亡,造成生态环境破坏。因此端到端的单目标追踪可以有效追踪出现异常的鱼类个体从而避免损失,单目标追踪的主要难点在于鱼类游泳速度较快且鱼类往往以群体出现,在高密度鱼群中单个的鱼类图像往往很小且容易被遮挡。这些困难造成了单目标追踪的准确率很低和误检 率 较 高。Wang 等 6提 出 了 一 种 基 于YOLOV5s 对水下小目标检测和跟踪鱼的翻身行为的方法,通过这个方法可以诊断出鱼是否患有疾病或存在寄生虫。基于深度学习的鱼类跟踪流程如图 1 所示。图 1 基于深度学习的鱼类追踪流程图Fig.1 Flowchart of deep learning-based fish tracking 1.2 多目标跟踪多目标跟踪则是指在视频图像中同时跟踪多个鱼体目标。它需要处理在鱼类高密度活动时的相互遮挡、目标过小的同时输出每个目标的位置、标识和运动信息。在鱼类多目标跟踪主要应用于鱼群游泳行为7,跟踪鱼群游泳行为有助于研究人员预测鱼类觅食和繁殖时间。Li 等8设计了一种名为 CMFTNet 的鱼类多目标视频跟踪模型,它通过无锚法实现了在鱼群互相遮挡、光斑、残饲的情况下持续准确的跟踪,准确度可以达到65.5%,缺点为鱼苗游向监测边缘时容易出现跟踪中断。Liu 等9设计了一种基于 FSTA 算法的水下多目标跟踪模型,该模型具备自主完成水下环境的检测功能,可以实现多目标、长时间、高精度 的 跟 踪。Sun 等10将 CNN(Convolutional Neural Network)检测原理与 LSTM(Long Short Term Memory)算法相结合,构建斑马鱼轨迹检测系统,解决跟踪鱼类长时间情况下的数据依赖问题。2 基于深度学习的鱼类跟踪方法2.1 语义分割语义分割是一种为整张图像的所有像素分配对应的语义标签图像分析任务,因此在鱼类图像分割中语义分割可以利用鱼类的边缘特征对图像中对象实现像素级别的高精度分割。如图 2a 所示,对不同颜色的三湖慈鲷鱼群进行语义分割。Christensen 等11采集鱼类声呐图像并使用了卷积神经网络对跟踪的鱼类声呐图像进行语义分割,模型经过了 100 批次训练后收敛准确率达到97%,可以用很低的成本获得更好的效果。语义分割算法依赖深度学习模型,可以达到对输入图像的像素级别的分类。应用较多的有全卷积网络(Fully Convolutional Networks,FCN)、语义分割网络(Semantic Segmentation Networks,SegNet)、U-Net、DeepLab 等。语义分割在鱼类视频与图像的应用多为对鱼类目标分类和鱼体语义分割任2第 2 期李鹏龙等:基于深度学习的鱼类跟踪技术研究进展务,通过对鱼体进行语义分割有助于研究人员了解鱼类行为。语义分割实例图像如图 2 所示12。CB#图 2 语义分割实例图像Fig.2 Semantic segmentation image2.2 实例分割相较于传统的鱼类跟踪方法一般只能计算单 个鱼体目标位置的数据,实例分割能够完成高精度的定位和分割所有鱼类实例。如图 3a 所示,可以将每一个鱼类分割为不同的颜色,为研究人员提供更详细的跟踪目标数据。基于深度学习的实例分割方法依靠卷积神经网络来进行训练,模型经过大批量的数据集训练可以学习到目标鱼类的特征和形状,从而精准对跟踪的鱼类实例进行分割。Yu 等 13设计了一种基于实例分割的非接触鱼权分析系统,同时提出了一种基于注意力机制的全卷积实例分割网络(CAM-Decoupled-SOLO)来获得鱼类边缘特征。该模型研究将像素位置信息和通道注意力机制相结合,完成了目标位置信息和通道维度信息的汇总。经过计算,相较于Decoupled-SOLO 模型,该模型的 mAP 提高了2.6%。同时建立了自动鱼类周长计算模型和质量预估系统。实例分割在鱼类目标检测和鱼体特征方面也有应用,何佳琦 14对红鳍东方鲀(图3b)进行实例分割提升了鱼类密度大且多遮挡情况下的检测准确率;尹术壮 15对鱼体(图 3c)进行实例分割研究,该研究成果为测量鱼体形态学特征提供技术支持。BCTD图 3 鱼类实例分割图像Fig.3 Fish instance segmentation image 此外,实例分割的结果还可用于其他方面,例如鱼类数量估计、鱼类大小测量和行为分析。Garcia 等 16介绍了使用了 Mask R-CNN 架构进行鱼类的检测和分割的方法,可以完成鱼类体长和鱼类数量预测。该架构结合了 Faster R-CNN和全卷积网络用于目标检测和分割。结果显示,在单个鱼类检测方面,Mask R-CNN 模型的性能良好。2.3 目标检测目标检测可以从图像或视频中精准定位和识别出需要的目标鱼类,目标检测在找到目标所在的坐标位置的同时还需要对目标进行准确的边界框标定。目前的目标检测算法可以分为两类方法。一类是基于双阶段的方法,例如 R-CNN(Region-based Convolutional Neural Network)系 列 和DeepSORT(Deep Simple Online and Realtime Tracking)(图 4a)17。另一类是基于单阶段的方法,例如 YOLO 系列(You Only Look Once)(图4b)和 SSD(Single Shot MultiBox Detector)等系列。3渔 业 现 代 化2024 年B%FFQ4035C:0-0W图 4 鱼类目标检测图像Fig.4 Fish target detection image 鱼类目标检测方法主要有帧间差分法、背景差分法和光流法。帧间差分法操作简单,在游速较慢的目标上效果好,但在游泳速度快的目标时会出现模糊导致识别精度降低。背景差分法对游速快的目标有很好的效果且对光照条件的阈值较高,但对目标静止的图像无法及时反应图像背景的变化。例如 Sengar 等18采用帧间差分法的方式对运动目标进行检测,检测准确率可以达到93.99%。光流法对移速较快的目标效果且可以输出目标的移动方向和游速。目标检测主要应用在海洋生态监测和渔业资源等。任务多数为目标定位和目标大小数量等。例如,Salman 等19通过使用深度 R-CNN 网络来对不同程度场景下鱼类实例进行检测和定位,Ditria 等20通过 Mask R-CNN 对水下鱼类进行目标检测从而对鱼群丰度进行测算,相较于人工计算成本更低、准确率更高。Lopez-Marcano 等21同样利用 Mask R-CNN对黄鳍鲷目标进行检测和跟踪,帮助生物学研究人员监测生态系统。Marini 等22设计了基于遗传编程内容的图像分析的新方法,可以获取到鱼类丰度的时间动态信息。Zang 等23使用 CNN 成像声呐数据对迁徙中的美洲鳗鲡进行目标识别和检测,有助于水电设备旁鳗鱼迁移通道的研究与设计。2.4 目标分类目标分类是一种利用计算机视觉技术来自动识别和分类水中鱼类目标的方法。图 5 展示了对三刀鱼、江鲽、黑鲷的图像进行目标分类。BCD图 5 鱼类目标分类Fig.5 Fish target classification 目标分类模型中最重要的是分类算法,目前主流有 AlexNet 算法、HCF 算法、ZFNet 算法、ResNet 算法等。其中 ResNet 是目前使用较广的分类算法,ResNet 算法可以有效减少梯度消失与梯度爆炸的情况,在鱼类分类领域表现出色。涂雪滢等 24通过 ResNet18、ResNet34、ResNet50 框架结构对鲈鱼、鲫鱼、鱼、锦鲤和罗非鱼等 5 种典型养殖鱼类进行识别分类,3 种模型的最后识别精度 均 达 到 了 99.8%。王 文 成 等 25通 过ResNet50 网络结构改进对大菱鲆、黄鳍鲷、金钱鱼和鲻鱼实现目标分类,检测准确率可以达到96%。并且使用 DSOD 框架实现了水下目标实时跟踪检测。万鹏等 26使用改进的 ResNet50 引入迁入学习训练模型,对鳙鱼、鳊鱼、鲤鱼、鲫鱼、草4第 2 期李鹏龙等:基于深度学习的鱼类跟踪技术研究进展鱼和白鲢 6 种大宗淡水鱼进行跟踪分类,识别准确率达到了 96.94%。2.5 方法对比语义分割、实例分割、目标检测和目标分类4 种方法各有特点,使用场景互不相同,在鱼类跟踪和分析中都起到了十分重要的作用,促进了对鱼类行为的研究。表 1 对 4 种方法进行了比较。表 1 深度学习方法Tab.1 Deep learning methods名称概念应用比较语义分割语义分割是将图像中的每个像素按类分为不同的语义类别识别鱼类轮廓计算像素数量来推算鱼类体长,跟踪鱼类群体只提供像素级别的分类结果实例分割实例分割是将图像中的每个对象进行像素级别的分割,并为每个对象分配标志可将不同种类的鱼类实例单独分割出来,通过计算实例的数量来统计鱼类数量,跟踪鱼类个体目标需要将不同的对象区分开来,计算量比语义分割大目标检测目标检测是在图像中找到鱼类的边界框,而不需要对每个像素进行分类或分割通过检测框可以确定图像中鱼类的位置,并依赖边界框数量来确定鱼类数量无法得到独立实例信息和像素级别的分类结果,但计算速度快且定位精度高目标分类目标分类是将整个图像分配给特定的类别鱼类分类识别,还可以将鱼类的不同行为进行分类计算效率很高,但无法提供实例信息和像素级别的分类结果3 目标跟踪信息3.1 鱼类轨迹和姿态图 6 展示了单一姿态和复杂姿态下的鱼类图像24。BC图 6 不同鱼类姿态Fig.6 Diffferent fish postures鱼类轨迹和姿态是指鱼类在水中移动的路径和游泳姿势,鱼类轨迹和姿态信息有助于了解鱼类的活动、生长和健康状况,这对优化鱼类养殖环境、提高鱼类的养殖效益和健康状况提供了帮助。例如,条纹斑竹鲨具有良好的医用价值,但由于养殖要求苛刻容易发生大规模生病及死亡。刘斌等 12在对条纹斑竹鲨的各个部位进行语义分割后使用 Segnet 网络模型来跟踪纹斑竹鲨的活动状态和运动轨迹。通过跟踪条纹斑竹鲨各部位的活动轨迹获得条纹斑鲨的行为数据并进行分析,实现了对其异常行为和疾病的提前预警,有效降低了条纹斑竹鲨的病死率。涂雪滢等 24在对鱼类分类之前也对鱼类姿态进行识别分析,通过收集不同角度和姿态下的鱼类图像来提升数据集数量级同时增加模型的鲁棒性。Romero-Ferrero 等 27设计了一种鱼类轨迹跟踪方法,通过采取两个卷积神经网络避免了跟踪轨迹丢失的缺陷。一个对区分图像中鱼类个体有无遮挡或重叠进行判断,另一个对鱼类个体进行追踪生成轨迹图像,如图 7 所示27,完成了对斑马鱼群的轨迹跟踪。图 7 IdTracker.ai 实现斑马鱼运动轨迹跟踪Fig.7 IdTracker.ai implementation of zebrafish motion trajectory tracking李星辉 28 使用 MHK 水下鱼类视频数据集和 5渔 业 现 代 化2024 年Fish4Knowledge 水下鱼类轨迹数据集训练 Faster RCNN 目标检测模型实现了对水下鱼类进行跟踪,并设计了一种关联检测结果获取游动轨迹图像如图 8 所示,以及针对时间序列型轨迹数据的异常 判 别 方 法。丁 剑 勇 29 提 出 了 一 种 基 于YOLO-DeepSORT 目标检测-数据关联的鱼群视频轨迹追踪方法,通过 DeepSORT 算法将 YOLOv5检测得到的目标位置信息在时间轴上关联起来得到鱼群轨迹。这种方法在保证了高准确度的同时大幅提升了单帧的处理速度,对鲫鱼及大黄鱼的检测准确度达到了 98%和 94%,单帧的处理速度达到了 0.014 s/帧。BCDE图 8 不同时间点的鱼类轨迹提取Fig.8 Fish trajectory extraction at different time points3.2 鱼类计数鱼类计数是在水产养殖和鱼类研究中统计鱼类数量的方法。传统的鱼类计数方法包括人工计 数和水声计数等,传统计数的缺点在于工作量大、容易受到环境干扰、准确率低等。之后出现的基于深度学习的鱼类计数使用视频数据作为输入数据,训练计算机从每帧图像中学习所要跟踪的鱼类特征,在训练出可以精确识别的模型后通过构建神经网络结构进行计数。利用视频图像的人工神经网络进行鱼类计数研究最早可以追溯到 1995 年,Newbury 等 30使用人工神经网络中的反向传播网络结构可以实现准确率 90%以上的鱼类计数。基于深度学习的鱼类计数方式可以分为实例分割计数、目标检测计数、密度图回归计数、目标跟 踪 计 数 4 种。如 图 9 是 使 用 YOLOv8-DeepSORT 对蓝鳍马面鲀追踪同时进行计数。图 9 YOLOv8-DeepSORT 目标跟踪计数Fig.9 YOLOv8 DeepSORT target tracking count卷积神经网络(CNN)是目前使用较多的神经网络结构,CNN 图像处理能力很强。经过大批量鱼类图像数据训练,即可实现深度学习的鱼类计数任务。深度学习方法在鱼类计数方面应用成熟。利用深度学习进行鱼类计数,可以实现高效、精准的鱼类数量统计,表 2 展示了各个方法的优缺点。表 2 基于深度学习鱼类计数Tab.2 Fish counting based on deep learning方法类别文献作者年份模型算法准确度优点缺点检测计数Li 等 312017R-CNN89.95%Liu 等 322021YOLOv495.6%不需要跟踪算法,计算速度快、成本低、体积小在图像对比率低,鱼类外观变化较大时准确率会下降跟踪计数Hong 等 332022Mask R-CNN97.48%LaBao 等 342019R-CNN93.51%Kandimalla 等 352022YOLOv373.00%可以跟踪不同鱼在的运动,提供更高的准确率对跟踪算法的性能要求高,在鱼类密度大,外观不连续的场景下准确率下降密度图回归计数Zhang 等 362022BPNN95.06%Zhang 等 372020CNN 和 DCNN 混合95.03%Yu 等 382022MAN97.12%不需要跟踪,在计算大规模鱼数时效率高当密度不均匀且密度变化大时精准度会降低分割计数Albuquerque 等 392019CNN97.47%利用鱼类的形态特征分析提供准确率更高的计数数据同样在重叠遮挡情况下需要较长的计算时间6第 2 期李鹏龙等:基于深度学习的鱼类跟踪技术研究进展3.3 鱼类体长与体质量鱼类体长和体质量测量是近些年基于深度学习的鱼类跟踪研究的一个新方向。通过基于深度学习的鱼类体长测量,可以有效跟踪鱼类生长情况。养殖人员可以在养殖过程中实时监测鱼类生长的情况从而对喂食方式和养殖环境做出调整。鱼类侧身与正面与图 10 所示。BC图 10 鱼类侧身与正面图像Fig.10 Lateral and frontal images of fish基于深度学习的鱼体长度测量可以按测量方式分为两类,一类是 2D 测量,另一类是 3D 测量 40。2D 测量方法通过对鱼类区域从图像中提取出来的鱼体区域进行分析,从而对鱼体长度进行估算。2D 测量方法进一步分为水下和水上两种方法,水上测量可以避免水下测量的背景干扰且测量精度较高,但会对鱼造成伤害。水下测量的图像受噪声、光线、气泡等因素导致测量精度不高,但可以实现实时监测。3D 测量采用立体视觉技术,该技术通过深度信息结合距离公式即可得到鱼类体长。但 3D 测量方法需要昂贵的设备支 持,适用于需要更精确鱼体长度数据的科研机构。目前基于深度学习的鱼类质量估计主要分为两类,一类是深度学习网络使用图像处理技术提取鱼的尺寸进行质量评估。这种方式适合于鱼类没有被遮挡、弯曲、没有面向摄像头等的情况。首先对鱼类图像进行分割,通过计算目标帧中的像素点数量结合实际的鱼体参数和像素点之间的比例,得到相应的鱼体性状的实际长度。根据得到长度的对应规律计算出整张图像对应的实际面积,具体的计算公式会因鱼种不同而有所差异。另一种方法是通过立体视觉技术和深度学习技术结合建立关键点获取鱼的三维模型测得鱼的体长和周长。之前的研究多采用局部梯度、多视角立体匹配、Mask RCNN、三维点云等方法获取立体图像中鱼类的体长、宽度等参数 16。计算鱼类质量需要获取性状关键点位置来计算体长、体高、叉长等,但以上方法在鱼体正面朝向或者背向摄像机时,会造成关键点发生偏移或者遮挡,导致鱼体尺寸测量精度不高。如图 10a 中鱼侧身时 6 个关键点完整,但在图 10b 中鱼正对摄像头时尾部的 3个关键点被遮挡,无法获得从吻端到尾鳍基部与侧线交关键点的像素数量导致体长数据无法测得。4 存在问题4.1 低对比度和纹理模糊现象解决低对比度和纹理模糊的相关方法如表 3所示。表 3 解决低对比度和纹理模糊的相关方法Tab.3 Related methods for solving low contrast and texture blur解决方法文献年份实现过程优点缺点提取局部特征Tharwat等 432018通过局部描述和颜色将矩阵来提升纹理和颜色特征,分类准确率能达到 96.4%计算复杂度低,在不同尺度稳定检测相同特征无法提供全面信息,容易受到光线影响单幅图像超分辨率和插值方法Pramunendar等 442019采用单幅图像超分辨率方法和插值方法对图像进行放大以提高分辨率提升图片细节、改善低对比度。插值法简单便捷可以保留图像结构单幅图像超分辨率会占用大量计算资源和时间,还可能造成伪影,造成图像失真和图像细节丢失多间隔子直方图均衡化Zhou 等 452023提取图像的统计特征来计算图像各处的特征偏移程度,在每个子直方图上进行直方图均衡化提升图像的对比度提升图像对比度、增加图像细节、适用范围较广、可多级调节均衡化效果计算十分复杂,均衡化可能使得图像过饱和损失图像细节融合多个级别 的 特 征向量Zhang 等 462023通过多级集成模块(CSMLI)来集合不同分辨率的特征向量,减少了纹理模糊,提升了像素精度可以选择各级特征向量提取比较灵活。可以保留图像原始信息,适用范围也很广需要 大 量 试 验 调 节 参数,在融合时可能会产生噪声7渔 业 现 代 化2024 年 导致低对比度和纹理模糊的主要因素包括光照条件不足或者光照过于强烈,水中杂质和悬浮颗粒物遮挡,鱼类特征与环境相似(例如颜色),视频分辨率和采样率低,鱼类快速运动造成的运动模糊等。低对比度和纹理模糊会使不同物体之间亮度和纹理细节差异很小的部分无法清晰地被提取出来,只能捕捉到模糊的整体形状而忽略了细节。这种情况下,特征表示的全局性质可能会发生不均匀漂移,因为缺乏清晰的纹理信息可能导致特征提取过程中提取的特征可能在不同区域之间发生偏差或错误,导致特征表示的不一致性。这种不均匀漂移可能会对后续的图像分析和处理任务产生负面影响。低对比度和纹理模糊解决方法有许多,有经过选择性调节图像的像素值可以提高对比度和清晰度来增加图像纹理细节 41;还有利用引导滤波的对比度增强方法来消除纹理模糊,将数域中图像划分为基础层和细节层,并进行分层增强 42。4.2 图像颜色失真水下图像颜色失真的主要原因是光在水中传播时的不同特性。在水中,红色光的波长长容易被吸收,而蓝色和绿色光的波长短相对能较好地穿透水体。因此,在水下拍摄时,红色光很容易在光线传播过程中被吸收,导致图像中的红色变得暗淡或消失,使整个图像呈现蓝绿色调。光照变化是指在鱼类跟踪时,由于光线在水中的折射等因素导致鱼类的颜色发生变化从而造成颜色失真。解决颜色失真主要依靠数据增强、颜色平衡 47、多尺度融合策略 48-49、弱监督图像转移 50等方法来解决。图 11 展示了出现偏蓝偏绿的颜色失真情况下经过弱监督图像转移修复后的效果50。图 11 颜色失真图像Fig.11 Color distortion image 图像平衡主要指数据集中鱼类目标颜色不均衡的情况,模型在颜色样本的特征提取和学习能力不足,从而导致图像颜色失真,对于颜色不平衡导致的颜色失真可以采用直方图均衡化 51和颜色空间反转来改变颜色分布。多尺度融合特征的方法是指在模型训练时加入其他鱼类特征来对鱼类目标展开跟踪。经过多种特征融合,可以提升模型的追踪准确率,避免单一颜色特征导致的颜色失真问题。Mei 等 52设计的模型就采用这种方法。设计的模型使用了 5.18 M 个参数,需要0.15 G FLOPs(浮点运算)来对图像进行计算。在处理数据时通过翻转、旋转和颜色抖动增强技术构建和扩展数据集避免了图像颜色失真。4.3 遮挡和变形鱼在白天视频中的变形是由于光线问题和水流问题产生的,光线照射到鱼体表面和水中的水流和波浪的运动会使得光线发生折射或者散射效应,使得图像出现反光遮挡目标。赵梦53通过用YOLOv5 与 Mask 输出网络获取反光遮挡区域,反光遮挡图像如图 12a53所示,可以看到左下角的反光遮挡了鱼群导致图像的细节丢失和目标轮廓模糊不清。使用 CVAE 修复算法对图像的反光区域进行了修复,反光图像修复效果如图 12 所示。BC图 12 反光遮挡消除对比图像Fig.12 Comparison images of glare occlusion removal 观测相机镜头容易受到水中的悬浮杂质(如枯叶、藻类等)的遮挡,从而导致水下结构表观影像信息丢失。大颗粒杂质的遮挡会导致图片信息8第 2 期李鹏龙等:基于深度学习的鱼类跟踪技术研究进展发生变化,小颗粒杂质的集中遮挡也会使得水下图像分辨率的下降。解决方式可以采用数据增强、鲁棒性训练、多传感器融合、时序信息利用等。徐永兵等 54通过在视频帧中人为加入遮挡模拟水下视频中悬浮颗粒的遮挡,通过位移补偿策略消除相机移动导致的帧间背景偏移。此外,还构建了一种混合引导修复模型,用于确定帧间最优的互补信息,以恢复悬浮杂质遮挡区域。图 13 展示了人为添加杂质遮挡物图像修复后的效果对比54。BCD图 13 合成水下悬浮杂质视频帧的遮挡消除对比图像Fig.13 Synthetic underwater suspended particulate video frame occlusion removal comparison images 杨伟建等 55利用多尺度记忆特征提取网络提取了 5 个级别的特征。经过多尺度特征融合网络融合特征得到 3 个尺度特征,提升特征表达能力;后通过改进后的 DioU_NMS 算法对重复预测框进行抑制可以使得被遮挡的鱼得到补偿。时序信息方法利用时序信息,还有如光流估计等技术,可以帮助预测鱼的运动轨迹和形状变化,从而更好地处理遮挡和变形问题。5 应用5.1 鱼类摄食行为通过跟踪鱼类摄食、游泳方式、互动行为等,可以帮助量化鱼类摄食行为。目前研究人员逐渐将目光聚集在深度学习56等非破坏式的技术。鱼类行为可以分为运动相关和生理相关,其中运动相关行为包括游泳、觅食、聚集行为、发声,生理相关的行为包括鱼的外表颜色变化和鱼鳃呼吸频率。通过神经网络模型来评估鱼类行为,例如鱼类摄食行为,鱼类摄食行为可以通过溶氧变化和硬骨鱼在摄食饲料时发出的特定频率的声音时进行定量分析。Zeng 等57采用声信号和注意机制的音 频 频 谱 设 计 了 Swin Transformer(Audio Spectrum Swin Transformer)模型,将鱼类摄食行为分为 强、中、弱、无 等 四 个 等 级。通 过 Swin Transformer 结合其分层结构,增大鱼类摄食声谱识别任务的感知域。经过测试模型对鱼类摄食行为的量化准确率可以达到 96.16%。Zhou 等58通过监测溶氧含量和鱼类聚集程度可以量化摄食行为。使用自适应神经网络推理系统(ANFIS)跟踪鱼类摄食行为来改良投喂频率和饲料量,减少养殖成本的同时也防止多余的饲料污染养殖环境。经过测试,ANFIS 准确率为可以达到 98%,鱼类聚集程度也可以反应躲避天敌和鱼类交配率 59。Parrish 等60进一步提出了一种深度卷积神经网络的自动分级方式来将鱼类行为按照强度分为 4 个等级可以判断鱼类是否需要摄食,分类准确率为 90%。Iqbal 等 61将鱼类行为分为饥饿和正常两种类别,进一步利用 CNN 采用引用 3 层FC 和最大池化操作提高了监测准确率。将鱼类摄食行为识别的准确率提升到 98%。5.2 鱼类疾病无论在海洋环境监测还是在水产养殖鱼类疾病监测都是重要的一部分,研究人员需要通过异常死亡或者生病的鱼类来判断是否渔业资源环境遭到破坏和污染。相较于死鱼和健康鱼类,生病鱼的行为跟踪更为复杂。试验表明深度学习在水生毒性检测和异常模式分析中的优势明显62,依靠深度学习检测异常鱼需要许多的健康鱼和异常鱼的图像数据,异常鱼类的数据相较于健康鱼类的图像数据缺少许多。在获取大量数据困难的条件下,Beyan 等63设计在预处理使用微调来解决这一问题。与人工方法相比,召回率提高 12.5点,在检测治疗前后的斑马鱼行为准确率能达到81.2%。鱼类在受到外界刺激和健康状态不佳时9渔 业 现 代 化2024 年细胞的染色质会发生聚集从而导致颜色发生变化,例如,银鲑鱼出现疾病时鱼身颜色变暗,鲈鱼缺乏核黄素颜色也更暗 64。5.3 鱼类健康状态游泳行为和游速是鱼类健康状态研究中量化的重点指标,鱼类测速有鱼类声学标记测速 65、RFID(无线射频识别)技术 66-68、机器视觉测速 69-70、游泳隧道或者竞速声波箱测速等方法 71-73。鱼类游速受刺激、温度、食物等影响时会发生变化,进而反映出鱼类健康状态。Zhou等74使 用 多 层 感 知 器MLP(Multilayer Perceptron)来检测受到污染物时鱼类的行为 76,通过选取游泳速度、悬浮时间、转弯速度、洄游距离等来构建 MLP 分类器。同样的还可利用鱼类游泳瞬时速度和平均速度来构建无监督神经网络自组织映射 SOM(Self-Organizing Maps),检测斑马鱼在甲醛处理后的应激行为 64。鱼类异常行为跟踪主要的难点在于对视频图像跟踪,由于视频模型相较于图像模型更加烦琐,需要通过优化模型结构、特征提取优化、并行化运算、数据增强和增量学习来改善。例如 Mei 等 52提出了一种基于知识蒸馏的鱼群应激状态识别方法来减少运行时间和计算量,通过轻量级网络(GhostNet)将鱼群应激状态识别模型的准确率提升了 3.95%达到了 98.12%。Kwak 等75采用人工神经网络、多层感知器和反向传播算法对青鳉鱼的运动轨迹进行模式识别,检测水中杀虫剂对青鳉鱼健康状态的影响。6 结论与展望6.1 深度学习应用于鱼类跟踪中的问题和挑战当前基于深度学习的鱼类跟踪技术在处理不同尺寸鱼类、估算体长和体质量、处理图像失真和遮挡等方面仍存在一些挑战。针对这些问题,可以设计多尺度模型或采用尺度归一化方法来提高跟踪准确性,引入更多先验知识和辅助测量手段来估算不同种类鱼的体长和体重,并进一步研究和改进方法以处理图像失真和遮挡问题。此外,缺乏高质量的数据可能导致模型性能下降,因此需要积极采集高质量数据并利用数据增强和迁移学习等技术。深度学习技术通常需要大量计算资源和高性能硬件设备,对于投资有限的养殖业或个人可能存在一定的挑战,因此需要探索轻量级网络结构、模型剪枝、量化和硬件加速等技术,以降低算法的计算需求和硬件成本,推动技术的普及和应用。6.2 深度学习应用于鱼类跟踪中的优势和展望未来深度学习可以应用在鱼病诊断和死鱼鉴定、环境感知和水质预测、鱼类产量估算、养殖鱼类繁殖和投喂预测等方面。为此需要构建大量的高质量鱼类数据集和多模态数据融合,通过增加数据源以及融合不同的数据源来增强模型泛化能力和鲁棒性。另外需要对模型框架和追踪算法进行改进,设计更加高效的模型适应不同鱼类的跟踪任务。例如,改进注意力机制和主干网络等模型结构,增加跟踪算法追踪数量优化算法的计算效率和推理速度等。可以使用轻量级网络结构、模型剪枝和量化、硬件加速等技术来实现算法的高效部署和推理。参考文献1 YANG X,ZHANG S,LIU J,et al.Deep learning for smart fish farming:applications,opportunities and challenges J.Reviews in Aquaculture,2020,13(1):66-90.2 WAGEEH Y,MOHAMED H E-D,FADL A,et al.YOLO fish detection with Euclidean tracking in fish farms J.Journal of Ambient Intelligence and Humanized Computing,2021,12(1):5-12.3 LI X,LIU M,ZHANG S,et al.Fish trajectory extraction based on object detection C/2020 39th Chinese Control Conference(CCC),IEEE,2020:6584-6588.4 LVAREZ-ELLACURA A,PALMEr M,CATALN I A,et al.Image-based,unsupervised estimation of fish size from commercial landings using deep learningJ.ICES Journal of Marine Science,2020,77(4):1330-1339.5 BAL A,PATI S G,PANDA F,et al.Low salinity induced challenges in the hardy fish Heteropneustes fossilis;future prospective of aquaculture in near coastal zones J.Aquaculture,2021,543:737007.6 WANG H,ZHANG S,ZHAO S,et al.Real-time detection and tracking of fish abnormal behavior based on improved YOLOv5 and SiamRPN+J.Computers and Electronics in Agriculture,2022,192:106512.7 裴凯洋,张胜茂,樊伟,等.基于计算机视觉的鱼类视频跟踪技术应用研究进展J.海洋渔业,2022,44(5):640-647.8 LI W,LI F,LI Z.CMFTNet:Multiple fish tracking based on counterpoised JointNet J.Computers and Electronics in Agriculture,2022,198:107018.9 LIU T,HE S,LIU H,et al.A robust underwater multiclass fish-01第 2 期李鹏龙等:基于深度学习的鱼类跟踪技术研究进展sc