基于Bytetrack的多目标跟踪算法在斑马鱼毒性行为识别中的应用.pdf

第 45 卷 第 2 期 渔 业 科 学 进 展 Vol.45,No.2 2 0 2 4 年4 月 PROGRESS IN FISHERY SCIENCES Apr.,2024 *国家重点研发计划(2022YFD2001701)和中国水产科学研究院基本科研业务费(2023TD53)共同资助。赵海翔，E-mail: 通信作者：崔鸿武，E-mail: 收稿日期:2023-10-18,收修改稿日期:2023-10-30 DOI:10.19663/j.issn2095-9869.20231018001 http:/ Bytetrack 的多目标跟踪算法在斑马鱼毒性行为识别中的应用.渔业科学进展,2024,45(2):136149 ZHAO H X,CUI H W,HUANG Z M,WANG L,LI H,CUI Z G,QU K M.Application of a Bytetrack-based,multi-target tracking algorithm for zebrafish toxicity-response behavior recognition.Progress in Fishery Sciences,2024,45(2):136149 基于 Bytetrack 的多目标跟踪算法在 斑马鱼毒性行为识别中的应用*赵海翔1,2 崔鸿武2 黄桢铭2,3 王 磊2,4 李 皓2 崔正国2 曲克明2(1.上海海洋大学水产与生命学院 上海 201306；2.农业农村部海洋渔业与可持续发展重点实验室 中国水产科学研究院黄海水产研究所 山东 青岛 266071；3.中国海洋大学水产学院 山东 青岛 266003;4.浙江海洋大学水产学院 浙江 舟山 316022)摘要 利用计算机视觉技术识别斑马鱼(Danio rerio)在不同污染物暴露下的行为变化是水质毒性评价的常用方法之一，但传统方法存在效率低、面对遮挡和复杂环境时性能差等缺陷。针对这些问题，本研究使用基于 Bytetrack 的多目标跟踪算法追踪斑马鱼在 4 种污染物(Zn、Pb、Cr 和苯酚)暴露 2 h 后的行为变化，对斑马鱼在 4 种浓度梯度中的平均速度、最大速度、最低速度、平均碰撞次数和行为轨迹等指标进行分析。结果显示，算法的追踪精度、漏检率和检测时间(每 300 帧)分别能达到90.26%、16.33%和 0.19 min，检测时间和精度相比于传统目标检测方法有较大提升。同时，根据污染物不同，该方法能准确识别特定污染物环境中斑马鱼相应的运动状态及轨迹变化，可实现精确识别和实时响应，在鱼类毒性行为识别领域具有重要参考意义。关键词 计算机视觉；多目标跟踪；斑马鱼；行为分析 中图分类号 Q142 文献标识码 A 文章编号 2095-9869(2024)02-0136-14 随着科技的发展，石化废水的排放越来越多，其中的污染物绝大部分为重金属和石油类(王召会等,2016;杨茜等,2019;唐小双等,2021)。这些污染物不仅对水环境造成严重破坏，还对人类健康和生存构成巨大威胁(周斯芸,2014)。水生生物是水环境中的重要组成部分，在水体中承担着多种生态功能，如食物链传递、营养循环、有机物降解等。水生生物对水质变化有着敏感的反应，当水体中含有有毒、有害物质时，它们会出现死亡、变形、病变等现象(Kuklina et al,2013)。因此，水生生物可以作为水质监测的生物指标，通过观察和测定它们的数量、行为、活性等参数，可以判断水体中污染物的种类、浓度和毒性。斑马鱼(Danio rerio)是一种广泛用于水质监测的模式生物，它具有体型小、繁殖快、基因组序列已知、与人类有高度同源性等优点(Khan et al,2018;Paduraru et al,2023)。斑马鱼在水质污染物暴露下会表现出不同的毒性行为，如游泳速度变化、碰壁次数增多、鱼群聚散状态变化等(Jijie et al,2020;Huang et al,2021)。这第 2 期 赵海翔等:基于 Bytetrack 的多目标跟踪算法在斑马鱼毒性行为识别中的应用 137 些毒性行为反映了斑马鱼对水质污染物的应激反应，可以作为评价水质污染程度和影响的重要指标。传统的斑马鱼毒性行为监测和识别方法主要依赖于人工观察和分析，即将鱼群暴露于污染物中，统计其不同时间段(24、48、72 和 96 h)的半致死浓度(LC50)，以此评估污染物的毒性水平(黄东龙等,2011;王晓然等,2023)。然而，这种方法存在很多不足，如主观性强、人力成本高和效率低下等。因此，如何利用计算机视觉技术实现斑马鱼毒性行为的自动化监测和识别、提高毒性评估的准确性和效率，是一个具有重要意义和挑战性的研究课题。近年来，计算机视觉技术在斑马鱼毒性行为监测和识别方面取得了一定的进展。一般来说，这些方法可以分为 3 个步骤：前景提取、目标追踪和行为分析。前景提取是指从视频序列中分离出斑马鱼的轮廓或轨迹，以便于后续的行为分析。常用的前景提取方法为阈值分割法(黄毅等,2014;廖悦,2012)，根据斑马鱼与背景之间的灰度差异，设置一个合适的阈值，将像素点划分为前景或背景。这种方法可以有效地将斑马鱼从背景中提取出来，但也存在一些局限性，例如，对光照变化敏感、无法处理遮挡和重叠现象等。目标追踪是指追踪检测目标在连续帧中的空间位置，有手动标注和卡尔曼滤波 2 种方式(杜秋菊,2014)，手动标注法是一种基于人工干预的方法，它可以通过人工选择，对斑马鱼的编号进行匹配，从而得到精确的轨迹，但这种方式效率较低。卡尔曼滤波法是一种基于概率模型的方法，它可以利用斑马鱼的运动状态和观测数据，对斑马鱼的位置和速度进行预测和更新，从而得到平滑的轨迹，在鱼群数目较多、重叠严重的情况下同样难以实现高精度的追踪。行为分析是指从提取得到的斑马鱼轮廓或轨迹中，提取出有意义的特征值和图像数据，以便于对斑马鱼的游泳行为进行量化和分类，如游泳速度、游泳距离、游泳方向、转弯角度、停留时间。为提高追踪效率和鱼群遮挡等复杂情况下的检测精度，实现对斑马鱼毒性行为的自动化和实时性识别，探究不同水质污染物对斑马鱼游泳行为的影响规律。本研究选取 4 种石化尾水中的典型污染物(Zn、Pb、Cr、苯酚)(孔黎明等,2015;徐姗楠等,2014)，对斑马鱼在不同浓度和不同暴露时间下的游泳行为进行实验观察，通过基于 YOLOv8+Bytetrack 的多目标跟踪技术提取斑马鱼的运动特征值(速度和碰壁次数)，绘制斑马鱼的轨迹图，并通过人为经验和卷积神经网络 Resnet(He et al,2016)对量化结果进行分析。1 材料与方法 1.1 实验材料 本实验所用的斑马鱼购买自实验斑马鱼科研服务平台，养殖用水为脱氯自来水，水温为(251)，溶解氧为(6.20.2)mg/L，以虾饲料为食，每天投食3 次。挑选鱼龄为 68 个月、体长为(302)mm 的斑马鱼，实验前 24 h 不喂食。实验所用硫酸锌、醋酸铅、重铬酸钾和苯酚均为国药分析纯试剂。鱼类实验是在中国水产科学研究院黄海水产研究所内养鱼实验室中进行，实验系统为 4 个 0.2 m 0.2 m0.2 m 的玻璃缸，图像采集系统由 4 个摄像机、计算机和数据存储器组成。摄像机放置于系统正上方，采集分辨率为 1 0801 080 像素，速率为 30 fps，每个玻璃缸中实验用鱼 8 尾(黄毅等,2014;周绍辉,2017;廖悦,2012)。实验系统示意图见图 1。图 1 斑马鱼行为量化的实验装置 Fig.1 Experimental setup for the quantification of zebrafish behavior 138 渔 业 科 学 进 展 第 45 卷 1.2 基于多目标跟踪的斑马鱼行为量化 1.2.1 基于YOLOv8 和Bytetrack的多目标追踪 首先使用 YOLOv8 模型对斑马鱼的视频进行目标检测。YOLOv8 是一种基于深度学习的端到端的目标检测算法，可以实现高效和准确的目标检测。使用官方提供的预训练模型 yolov8n.pt，并根据自制的斑马鱼数据集进行训练，得到模型权重。将玻璃缸中的斑马鱼视频通过摄像机实时传输到模型中，得到每个斑马鱼的边界框和置信度。然后，使用 Bytetrack 算法对检测到的斑马鱼进行目标跟踪。Bytetrack 是一种基于目标检测的多目标跟踪算法，可以实现实时目标跟踪，同时，使用了低分框对追踪算法进行二次匹配，可以有效地优化追踪过程中因为遮挡造成 ID 变换的问题。使用官方提供的预训练模型 Bytetrack_s_mot17.pt，将YOLOv8 模型输出的边界框和置信度输入到算法中，得到每个斑马鱼的唯一 ID 和轨迹。最后，根据跟踪结果提取出斑马鱼的位置、速度、碰壁次数和轨迹等特征。1.2.2 多目标跟踪方法的性能评估 为验证基于YOLOv8 和 Bytetrack 的多目标跟踪方法在斑马鱼视频中的有效性，本研究从视频中随机选取一段 300 帧的斑马鱼视频，并在每帧中手动标注 8 条斑马鱼的位置信息，作为真值数据。然后，将真值数据与跟踪结果进行匹配，使用一种基于 IOU(交并比)的匹配算法，计算出平均匹配率作为模型的追踪精度。为验证该方法相比于传统方法(基于阈值分割的卡尔曼滤波跟踪和手动标注)和其他多目标跟踪方法(SOTMOT和 FairMOT)的优势，比较跟踪精度、漏检率和检测时间等方面的差异。漏检率是指在斑马鱼被其他物体遮挡时，跟踪结果无法检测到斑马鱼的概率，检测时间是指一段视频进行目标跟踪所花费的时间。同时，使用多目标跟踪精度(MOTA)和多目标跟踪准确度(MOTP)2 个多目标跟踪评测指标评估 Bytetrack 与SOTMOT 和 FairMOT 的跟踪性能。1.3 斑马鱼毒性行为识别 选取 Zn、Pb、Cr 和苯酚 4 种水质污染物，以前人研究所得的 96h-LC50为一个毒性单位(修瑞琴等,1996;房妮,2015;陈家长等,1998)，即 1 TU，分别设置 1、2、4 TU 共 3 个浓度梯度和 1 个空白对照组，各实验组浓度如表 1 所示。持续暴露时间为 120 min，每个浓度的毒性物质设置 3 个平行。在暴露实验期间，使用高清摄像头对每组斑马鱼的游泳行为进行录像。使用 YOLOv8+多目标跟踪算法 Bytetrack 对每段视频片段进行图像处理和分析，提取每条斑马鱼的运动特征值，以及每条斑马鱼的轨迹图和时空分布变化，将其保存为数据文件和图像文件。表 1 实验组污染物浓度 Tab.1 Pollutant concentration in experimental group 浓度 Concentration/(mg/L)污染物 Pollutants 1 TU 2 TU 4 TU对照组Control subjects硫酸锌 Zinc sulfate 30 60 1200 醋酸铅 Lead acetate 146 292 5840 重铬酸钾Potassium dichromate50 100 2000 苯酚 Phenol 39.35 78.70 157.400 1.3.1 斑马鱼行为特征值变化实验 根据每条斑马鱼在连续帧中的坐标值，计算其每一帧的速度。设置边界阈值，坐标值触及阈值即记为 1 次碰壁。为减少实验误差，每隔 1 800 帧(即 60 s)计算一次平均速度和碰壁次数。对每组斑马鱼的运动特征值进行统计和分析，绘制其变化曲线和分布图，比较不同污染物和不同浓度下斑马鱼的运动特征值的差异和规律。1.3.2 斑马鱼轨迹识别实验 使用实验中提取的斑马鱼的轨迹图作为实验数据，对每张轨迹图进行标注，根据斑马鱼是否出现了回避行为，以及回避行为的类型和程度，将其分为正常和回避 2 种类别。使用卷积神经网络 Resnet 作为基础模型，对斑马鱼的轨迹图进行预处理和增强，如裁剪、缩放、旋转、翻转、加噪等，增加数据的多样性和鲁棒性。将预处理后的轨迹图输入 Resnet-50 中，进行特征提取和分类，使用交叉熵损失函数和随机梯度下降优化器，对网络进行训练和测试，使用准确率对网络的识别效果进行评估。对网络的识别结果进行分析，比较不同污染物和不同浓度下斑马鱼的回避行为的识别类别数量。2 结果 2.1 追踪方法比较 追踪方法的输出结果见图 2。跟踪精度、漏检率、检测时间、MOTA 和 MOTP 见表 2。手动标注跟踪精度可达 100%，但是监测时间为 125.62 min，是本研究多目标追踪方法的 661.16 倍，基于阈值分割的卡尔曼滤波、基于 SOTMOT 的多目标跟踪和基于FairMOT 的多目标跟踪检测时间分别为 3.59、0.41、0.37 min，是本研究的 18.89、2.16、1.95 倍；但跟踪 第 2 期 赵海翔等:基于 Bytetrack 的多目标跟踪算法在斑马鱼毒性行为识别中的应用 139 图 2 追踪方法的输出结果 Fig.2 Results of the tracking methods a：原视频；b：基于阈值分割的卡尔曼滤波法；c：基于阈值分割的手动标注；d：多目标跟踪。a:Original video;b:Kalman filtering based on threshold segmentation;c:Manual annotation based on threshold segmentation;d:Multi-target tracking.表 2 追踪方法的性能比较 Tab.2 Performance comparison of tracking methods 评价指标 Evaluation indicators 追踪方法 Tracking method 跟踪精度Tracking accuracy/%漏检率 Missing rate/%检测时间Detection time/min目标跟踪精度 MOTA/%目标跟踪 准确度 MOTP/%参考文献 Reference 基于 Bytetrack 的多目标跟踪 Multi-target tracking based on Bytetrack 90.26 16.33 0.19 81.25 79.33 本研究 This study 基于 SOTMOT 的多目标跟踪 Multi-target tracking based on SOTMOT 88.52 26.45 0.41 71.32 69.84 Zheng 等(2021)基于 FairMOT 的多目标跟踪 Multi-target tracking based on FairMOT 90.10 20.69 0.37 74.55 65.19 Zhang 等(2021)基于阈值分割的卡尔曼滤波 Kalman filtering based on threshold segmentation 67.09 72.80 3.59 廖悦等(2012)手动标注 Manual annotation 100 0 125.62 黄毅等(2014)精度为 67.09%、88.52%、90.10%，为本研究的 74.32%、98.07%、99.82%；漏检率却高达 72.80%、20.69%、26.45%，是本研究的 4.46、1.27、1.62 倍。2.2 斑马鱼运动特征值的变化 各实验组暴露于污染物中 120 min，斑马鱼运动特征值的变化情况见表 3。2.2.1 硫酸锌对斑马鱼运动的影响 如图 3 所示，对照组中斑马鱼速度变化稳定，在 300600 pixel/s 之间均匀波动，平均碰撞次数为 18.14 次。在硫酸锌暴露下，斑马鱼的速度整体呈先上升后下降最终稳定在一个较低水平。在 1 TU 浓度下，026 min 内，速度在500900 pixel/s 之间波动，而后速度开始下降，43 min后，速度逐渐趋于稳定，并在 100400 pixel/s 之间均匀波动，平均碰撞次数为 80.15 次。在 2 TU 浓度下，024 min 内，速度在 5001 100 pixel/s 之间波动，而后速度开始下降，71 min 后，速度逐渐趋于稳定并在100400 pixel/s 之间均匀波动，平均碰撞次数为315.78 次。在 4 TU 浓度下，022 min 内，速度呈上升趋势，最高速度为 1 779.16 pixel/s，而后速度开始下降，76 min 后，速度逐渐趋于稳定并在 100400 pixel/s 之间均匀波动，平均碰撞次数为 755.66 次。在不同硫酸锌浓度下，斑马鱼的平均速度、标准偏差和平均碰撞次数均有显著差异(P0.05)。2.2.2 醋酸铅对斑马鱼运动的影响 如图 4 所示，对照组中斑马鱼速度变化稳定，在 300700 pixel/s 之间均匀波动，平均碰撞次数为 31.59 次。在醋酸铅暴露下，斑马鱼的速度整体呈先均匀波动后下降最终稳定在一个较低水平。在 1 TU 浓度下，020 min 内，速度在 500800 pixel/s 之间波动，而后速度开始下降，52 min 后，速度逐渐趋于稳定，并在 150300 pixel/s之间均匀波动，平均碰撞次数为 159.36 次。在 2 TU浓度下，020 min 内，速度在 6001000 pixel/s 之间波动，而后速度开始下降，78 min 后，速度逐渐趋于 140 渔 业 科 学 进 展 第 45 卷 图 3 硫酸锌暴露下斑马鱼速度变化情况 Fig.3 Velocity changes in zebrafish under zinc sulfate exposure 图 4 醋酸铅暴露下斑马鱼速度变化情况 Fig.4 Velocity changes in zebrafish under lead acetate exposure 稳定，并在 150350 pixel/s 之间均匀波动，平均碰撞次数为 208.61 次。在 4 TU 浓度下，038 min 内，速度呈下降趋势，而后速度逐渐趋于稳定，并在100300 pixel/s之间均匀波动，平均碰撞次数为 223.48 次。在不同醋酸铅浓度下，斑马鱼的平均速度、标准偏差和平均碰撞次数均有显著差异(P0.05)。2.2.3 重铬酸钾对斑马鱼运动的影响 如图 5 所示，对照组中，斑马鱼速度变化稳定，在 300700 pixel/s之间均匀波动，标准偏差为 77.55 pixel/s，平均碰撞次数为 25.77 次。在重铬酸钾暴露下，斑马鱼的速度变化趋势整体呈均匀波动。在 1 TU 浓度下，速度在200800 pixel/s 之间波动，标准偏差为 108.14 pixel/s，平均碰撞次数为 147.67 次。在 2 TU 浓度下，速度在300500 pixel/s 之间波动，标准偏差为 51.41 pixel/s，平均碰撞次数为 325.16 次。在 4 TU 浓度下，速度在150400 pixel/s 之间波动，标准偏差为 45.98 pixel/s，第 2 期 赵海翔等:基于 Bytetrack 的多目标跟踪算法在斑马鱼毒性行为识别中的应用 141 图 5 重铬酸钾暴露下斑马鱼速度变化情况 Fig.5 Velocity changes in zebrafish under potassium dichromate exposure 平均碰撞次数为 549.15 次。在不同重铬酸钾浓度下，斑马鱼的平均速度、标准偏差和平均碰撞次数均有显著差异(P0.05)。2.2.4 苯酚对斑马鱼运动的影响 如图 6 所示，对照组中，斑马鱼速度变化稳定，在 200700 pixel/s 之间均匀波动，标准偏差为 76.23 pixel/s，平均碰撞次数为39.30 次。在苯酚暴露下，斑马鱼的速度变化趋势整体呈先急剧上升后在较大区间内波动。在 1 TU 浓度下，速度先急剧上升，最大速度为 1 747.58 pixel/s，而后在6001 800 pixel/s 之间波动，标准偏差为211.81 pixel/s，平均碰撞次数为 771.59 次。在 2 TU 浓度下，速度先急剧上升，最大速度为 1458.13 pixel/s，而后在 600 图 6 苯酚暴露下斑马鱼速度变化情况 Fig.6 Velocity changes in zebrafish under phenol exposure 142 渔 业 科 学 进 展 第 45 卷 1 400 pixel/s 之间波动，标准偏差为 238.23 pixel/s，平均碰撞次数为 919.84 次。在 4 TU 浓度下，速度先急剧上升，最大速度为 866.44 pixel/s，而后部分斑马鱼死亡，在 0300 pixel/s 之间波动，标准偏差为 127.62 pixel/s，平均碰撞次数为 45.42 次。在不同苯酚浓度下，斑马鱼的平均速度、标准偏差和平均碰撞次数均有显著差异(P0.05)。2.2.5 不同污染物对斑马鱼运动影响的差异 不同污染物在暴露初期和暴露后期的速度相较于对照组的改变程度如表 4 所示。在暴露初期，除重铬酸钾组外，其他组的速度均有不同程度的上升，各组之间差异显著(P0.05)，重铬酸钾组与其他实验组差异显著(P0.05)。2.3 斑马鱼轨迹识别 如图 7 所示，4 个对照组中，斑马鱼均沿缸壁循环游动，轨迹均匀地分散在缸壁周围，轨迹整体呈现圆形。从图 8 可以看出，斑马鱼的轨迹分布随着时间和 表 3 实验组的运动特征值变化 Tab.3 Changes in motor eigenvalues of the experimental groups 污染物 Pollutants 平均速度 Average speed/(pixel/s)标准偏差 Standard deviation/(pixel/s)最大速度 Maximum speed/(pixel/s)最低速度 Maximum speed/(pixel/s)平均碰撞次数 Average number of collisions/times对照组 Control subjects 424.84 62.52 596.32 280.22 18.14 1 TU 327.85 165.34 859.19 91.01 80.16 2 TU 343.08 222.26 1 086.95 93.28 315.78 硫酸锌 Zinc sulfate 4 TU 505.28 367.86 1 779.16 45.61 755.66 对照组 Control subjects 424.67 103.72 716.68 240.45 31.59 1 TU 329.96 171.36 789.35 137.98 159.36 2 TU 371.56 202.18 933.04 131.29 208.61 醋酸铅 Lead acetate 4 TU 350.16 265.63 1 073.02 100.41 223.48 对照组 Control subjects 461.61 77.55 689.77 303.09 25.77 1 TU 469.26 108.14 776.35 209.53 147.67 2 TU 364.94 51.41 513.89 252.05 325.16 重铬酸钾 Potassium dichromate 4 TU 263.26 45.98 440.70 135.74 549.15 对照组 Control subjects 457.43 76.23 668.81 223.51 39.30 1 TU 772.86 211.81 1 747.58 503.04 771.59 2 TU 958.43 238.23 1 458.13 225.32 919.84 苯酚 Phenol 4 TU 135.06 127.62 866.44 0.00 45.42 表 4 实验组的运动特征值变化差异 Tab.4 Differences in changes in motor eigenvalues in the experimental groups 污染物 Pollutants 暴露初期平均速度 Average velocity during initial exposure/(pixel/s)初期速度改变程度Degree of initial velocity change/%暴露后期平均速度 Average velocity during late exposure/(pixel/s)后期速度改变程度Degree of speed change at later stages/%1 TU 584.24 37.52 238.13 43.94 2 TU 661.68 55.75 172.48 59.39 硫酸锌 Zinc sulfate 4 TU 749.33 76.37 224.80 47.08 1 TU 613.97 44.57 215.06 49.35 2 TU 735.92 73.29 242.97 42.78 醋酸铅 Lead acetate 4 TU 853.81 101.05 190.45 55.15 1 TU 525.60 13.86 413.91 10.33 2 TU 379.31 17.82 351.03 23.95 重铬酸钾 Potassium dichromate 4 TU 279.57 39.43 247.48 46.38 1 TU 1 188.45 159.81 758.82 65.88 2 TU 1 014.73 121.83 989.22 116.25 苯酚 Phenol 4 TU 548.51 19.91 116.70 74.48 第 2 期 赵海翔等:基于 Bytetrack 的多目标跟踪算法在斑马鱼毒性行为识别中的应用 143 图 7 对照组中斑马鱼轨迹分布情况 Fig.7 Distribution of zebrafish trajectories in the control group 图 8 硫酸锌中斑马鱼轨迹分布情况 Fig.8 Distribution of zebrafish trajectories in zinc sulfate 在 1 TU 浓度下，斑马鱼速度上升(a)、下降(b)和稳定阶段(c)的轨迹分布；在 2 TU 浓度下，斑马鱼速度上升(d)、下降(e)和稳定阶段(f)的轨迹分布；在 4 TU 浓度下，斑马鱼速度上升(g)、下降(h)和稳定阶段(i)的轨迹分布。Trajectory distribution of zebrafish velocity rise(a),fall(b)and stabilization phase(c)under 1 TU;Trajectory distributions of zebrafish velocity rise(d),fall(e)and stabilization phase(f)under 2 TU;Trajectory distributions of zebrafish velocity rise(g),fall(h)and stabilization phase(i)at 4 TU.144 渔 业 科 学 进 展 第 45 卷 硫酸锌浓度的变化而发生明显的变化。在速度上升阶段，斑马鱼出现了明显的“回避行为”，即试图逃离有毒物质的区域。这时，轨迹主要沿着缸壁集中分布。在速度下降阶段，斑马鱼的“回避行为”逐渐减弱，这时，缸壁附近的轨迹数量明显减少，轨迹整体逐渐恢复圆形，与对照组的轨迹类似。在速度稳定后，斑马鱼的游泳行为进入了一个平稳状态，运动较少，轨迹数量减少，且分布范围缩小。随着浓度的升高，下降阶段的轨迹越复杂、速度稳定后的轨迹范围越小。在醋酸铅暴露下，在速度波动阶段，斑马鱼未出现明显的“回避行为”，轨迹依旧沿缸壁呈圆形分布，出现了一定的集群现象(图 9)。在速度下降阶段，集群现象减少，轨迹与对照组类似。在速度稳定后，斑马鱼的运动较少，轨迹数量减少，且分布范围缩小。随着浓度的升高，速度波动阶段集群现象越多、速度稳定后的轨迹范围越小。从图 10 可以看出，在重铬酸钾暴露后，各浓度下斑马鱼的运动速度均增加、轨迹不再沿着缸壁分 图 9 醋酸铅中斑马鱼轨迹分布情况 Fig.9 Distribution of zebrafish trajectories in lead acetate 在 1 TU 浓度下，斑马鱼速度波动(a)、下降(b)和稳定阶段(c)的轨迹分布；在 2 TU 浓度下，斑马鱼速度波动(d)、下降(e)和稳定阶段(f)的轨迹分布；在 4 TU 浓度下，斑马鱼速度波动(g)、下降(h)和稳定阶段(i)的轨迹分布。Trajectory distributions of zebrafish velocity fluctuations(a),decline(b),and stabilization phase(c)at 1 TU;Zebrafish velocity fluctuations(d),decline(e),and stabilization phase(f)at 2 TU;Zebrafish velocity fluctuations(g),decline(h),and stabilization phase(i)at 4 TU.图 10 重铬酸钾中斑马鱼轨迹分布情况 Fig.10 Distribution of zebrafish trajectories in potassium dichromate 在 1 TU(a)、2 TU(b)、4 TU(c)浓度下，斑马鱼的轨迹分布。Trajectories distribution of zebrafish at 1 TU(a),2 TU(b),and 4 TU(c).第 2 期 赵海翔等:基于 Bytetrack 的多目标跟踪算法在斑马鱼毒性行为识别中的应用 145 布，玻璃缸中心部分的轨迹增多。同一浓度下轨迹的区别不明显，在 2、4 TU 浓度下，轨迹的分布范围缩小。从图 11 可以看出，斑马鱼在接触到苯酚后很快出现了剧烈的“回避行为”，且随着浓度升高，行为越剧烈，轨迹分布越集中。一段时间后，斑马鱼速度下降，在缸壁周围出现侧翻、抽搐的现象，在 4 TU 浓度下，部分个体死亡。这时，轨迹沿缸壁分布，数量减少。从以上结果可以看出，不同的污染物会导致斑马鱼出现不同的轨迹分布特征，但这些特征并不足以区分污染物的类别。因此，本研究提出了一种基于轨迹状态的分类方法，将轨迹分为正常状态和非正常状态2 种类别。正常状态指的是斑马鱼在纯水环境下的游泳轨迹，非正常状态指的是斑马鱼在污染物环境下与正常状态有明显差异的游泳轨迹。使用 Resnet-101网络对这 2 种类别进行训练和识别，实验结果表明，该方法可以达到 98.16%的准确率，模型训练效果如图 12 所示。图 11 苯酚中斑马鱼轨迹分布情况 Fig.11 Distribution of zebrafish trajectories in phenol 在 1 TU 浓度下，斑马鱼速度上升(a)和波动(b)阶段的轨迹分布；在 2 TU 浓度下，斑马鱼速度上升(c)和波动(d)阶段的 轨迹分布；在，4 TU 浓度下斑马鱼速度上升(e)和波动(f)阶段的轨迹分布。Trajectory distributions of zebrafish velocity rise(a)and fluctuating phase(b)at 1 TU;Zebrafish velocity rise(c)and fluctuating phase(d)at 2 TU;Zebrafish velocity rise(e)and fluctuating phase(f)at 4 TU.图 12 模型训练过程中准确率和损失值的变化情况 Fig.12 Changes in accuracy and loss values during model training 识别后，各实验组轨迹非正常类别占比如表 5 所示，硫酸锌和醋酸铅实验组的非正常轨迹类别占比与浓度显著相关(P0.05)。苯酚实验组的非正常轨迹类别占比与浓度具有显著差异(P0.05)。3 讨论 3.1 不同追踪方法在斑马鱼行为量化上的比较 本研究主要对比了 3 种不同的斑马鱼视频跟踪方法：手动标注方法、基于阈值分割的卡尔曼滤波方法和多目标跟踪方法。从跟踪精度、漏检率和检测时间 3 个方面进行了评估。146 渔 业 科 学 进 展 第 45 卷 表 5 实验组的轨迹类别 Tab.5 Trajectory categories of the experimental groups 污染物 Pollutants 非正常轨迹占比 Percentage of abnormal trajectories/%1 TU 12.25 2 TU 26.44 硫酸锌 Zinc sulfate 4 TU 37.06 1 TU 6.09 2 TU 8.33 醋酸铅 Lead acetate 4 TU 23.54 1 TU 96.89 2 TU 94.94 重铬酸钾 Potassium dichromate 4 TU 96.03 1 TU 59.23 2 TU 89.50 苯酚 Phenol 4 TU 11.62 由于手动标注方法能准确地识别出每一条斑马鱼，所以其跟踪精度和漏检率分别为 100%和 0，这是其他方法无法达到的。但是，手动标注方法也有明显的缺点检测时间非常长。因为需要将每一帧中的鱼类编号进行正确匹配，所以，检测时间远高于其他 2 种方法，这也限制了手动标注方法在大规模视频数据上的应用。多目标跟踪方法的跟踪精度、漏检率和检测时间均优于基于阈值分割的卡尔曼滤波方法，这是因为阈值分割会导致斑马鱼的形态特征丢失，只能得到白色像素点的轮廓(Otsu,1979)。这使得在斑马鱼重叠时难以区分不同个体，从而影响跟踪效果(朱佩儒等,2015)。同时，卡尔曼滤波器假设斑马鱼的运动状态服从线性高斯分布，但实际上斑马鱼的运动可能更加复杂和随机。因此，在斑马鱼发生突然转向或加速时，卡尔曼滤波器可能无法及时跟上其变化，导致跟踪误差。而多目标跟踪方法是一种基于深度学习的视频跟踪方法，它利用神经网络提取斑马鱼的高级语义特征，并结合关联滤波器进行目标跟踪。这种方法的优点是能充分利用斑马鱼的形态、颜色和纹理等特征，从而提高跟踪精度和鲁棒性。即使在斑马鱼重叠时，模型也可以根据个体之间细微的不同对鱼群进行精准的跟踪。此外，这种方法也具有较快的检测速度，相比于手动标注方法大大节省了时间成本。综上所述，多目标跟踪方法各项指标均优于基于阈值分割的卡尔曼滤波方法，并且其检测时间也明显优于手动标注方法。3.2 不同污染物暴露下斑马鱼行为的变化 本研究探讨了 4 种常见的水质污染物(硫酸锌、醋酸铅、重铬酸钾和苯酚)对斑马鱼行为的影响，以及这些影响与斑马鱼体内的毒理学效应之间的关系。通过高速摄像机记录了斑马鱼在不同污染物浓度下的运动轨迹，并分析了速度、碰壁次数和非正常轨迹占比 3 个行为指标。本研究发现，不同污染物对斑马鱼行为的影响有以下特点：在硫酸锌和醋酸铅暴露下，斑马鱼的速度相较于对照组都出现了先上升后下降的趋势。在重铬酸钾暴露下，斑马鱼的速度则呈现出在相较于对照组速度稍低的范围内波动的趋势，同时，非正常轨迹占比相比于其他实验组显著提高(P0.05)。在苯酚暴露下，斑马鱼的速度呈现出在较大范围内波动的趋势，同时，碰壁次数相较于其他实验组显著提高(P0.05)。李汝(2015)进行 Zn 胁迫下斑马鱼行为实验时发现，其速度出现先突然增大或略微下降，随着暴露时间增加逐渐适应的过程。赵晓艳等(2009)在利用斑马鱼实时监测水体中重铬酸钾污染时发现，斑马鱼的整体行为强度呈现下降趋势，中间会有波动。周绍辉等(2017)研究发现，斑马鱼在接触到苯酚后会表现出明显的回避行为，同时，行为强度在短时间内迅速增大。这与本研究