基于深度学习的猪只行为识别.pdf

在猪养殖过程中猪的行为与其健康状况有着密切的联系，及时发现猪的异常行为并加以治疗可以提高养殖的生产效益。利用深度学习技术进行猪只的行为识别，相较于传统人工方式效率更高。本文使用Realsense D455相机采集猪只行为图像数据，使用Mosaic数据增强方法扩充数据集。将CBAM注意力机制模块加入YOLOv5模型，提高网络模型对猪只行为的特征提取能力。使用PyQt库设计了猪只行为识别系统，实现对训练的模型进行调用，通过上传猪只图片或视频并设置相关参数实现了猪只行为识别的可视化。该系统界面简洁操作便利，猪只姿态识别准确率达到90%以上，对猪只生产和基于深度学习的猪只行为识别研究具有一定的价值。关键词：目标检测；深度学习；猪只行为；YOLOv5 中图分类号：S828;TP391.41 文献标识码：A 文章编号：1007-1733（2023）08-0007-05 猪的养殖是我国畜牧业养殖中十分关键的组成部分，对猪的健康状况进行实时监测是生产管理的重要环节。猪的某些行为和姿态往往是其健康出现异常的反应，如蜷缩身体、一直侧卧等，因此在养殖过程中实时监控猪只的行为姿态有重要的意义1。目前监管猪场的任务大多采用人为监控的方式进行猪的健康监管，存在较高的主观因素且时间成本较高2。随着计算机视觉领域的不断发展以及算力水平的不断提高，计算机视觉技术广泛应用在养殖业中。目前，基于深度学习的计算机视觉在猪只检测领域取得了较好成果。杨阿庆3等提出一种基于色调信息辅助的深度学习网络进行母猪图像分割模型并提出自适应局部时空特征的母猪哺乳行为分类方法。薛月菊4等提出基于改进Faster R-CNN的哺乳母猪姿态识别算法，提高识别精度的同时保证了实时性。李丹5等提出一种基于Mask R-CNN的猪只爬跨行为识别算法，自动有效地检测猪只爬跨行为。李菊霞6等利用YOLOv4深度学习网络的深层次特征提取和高精度检测分类特性，对猪只饮食行为进 行检测。Li7等基于改进后YOLOv4进行猪只身份的识别，提高了检测速度和准确度。季照潼8等通过YOLOv4模型对猪只的躺卧、站立、进食、坐立和侵略性行为进行识别，达到了较好的识别效果。丁奇安9等将YOLOv5网络量化后部署在Jetson Nano端，对哺乳期仔猪实现了精准检测。本文旨在使用目标检测的方法，通过在猪舍安装Intel Realsense D455相机获取猪只行为数据集信息，采用CBAM注意力机制10优化YOLOv5网络模型，对猪只行为进行识别。技术路线如图1所示，主要包括以下几个环节：数据采集与处理，在采集的视频中提取关键帧，对关键帧使用数据增强方式构建猪只数据集；基于改进的YOLOv5模型的猪只行为识别，对模型进行训练；分析检测结果，为猪只养殖信息化提供理论依据与参考。1 材料与方法 1.1 材料 1.1.1 实验图像数据集采集 本研究使用Intel 基金项目：山东省农业良种工程重点项目（2020LZGC012）；山东省生猪产业技术体系建设专项（SDAIT-08-02）资助*通讯作者 山东畜牧兽医山东畜牧兽医山东畜牧兽医山东畜牧兽医 2023年第年第年第年第44卷卷卷卷 8 Realsense D455相机持续31 d拍摄猪舍中猪的行为活动，选取每天不同时间段保存视频信息，共录制1 800组图像视频序列。通过python脚本每隔30帧记录一次图像数据构建图像数据集，图像数据集中删除相似程度大于60%的数据，降低猪只运动缓慢导致的冗余数据，根据不同的光照强度筛选出2 243张数据样本。1.1.2 数据集图像增强 使用LabelImg标注猪日常生活中频率较多的三种行为：站立行 为（standing）、伏 地 行 为（lying）、坐 行 为（sitting）。使用Mosaic数据增强，通过随机的缩放、裁剪反转和排布构成新的数据图像，扩充数据集。1.2 方法 1.2.1 模型改进 为提高网络模型对猪只行为的特征提取能力，采用CBAM注意力机制优化YOLOv5网络模型。注意力机制使网络专注于某个特定部分，弱化检测目标无关的区域。CBAM网络结构的注意力体现在通道和空间两个部分，特征融合效果较好。通道注意力机制可以增强网络模型的分类能力。在网络模型中有多次卷积操作，每次卷积都会产生特征图进而产生很多通道，但并不是所有通道都包含有效的信息，因此使用通道注意力可以更好地突出目标的特征。首先对输入的特征图分别进行Max Pooling和Avg Pooling操作，获得通道之间的全局信息，通过多层感知器获取每个通道的权重，然后进行加权运算输出通道注意力信息。空间注意力机制可以增强网络模型的定位能力，提高检测过程的位置预测精度，在保证关键特征的前提下将特征图的位置生成权值并加权输出，达到增强特定位置的特征信息的目的。首先对通道注意力输出的特征信息进行Max Pooling和Avg Pooling，将池化后的融合特征通过一个大小为77卷积核进行融合，然后使用Sigmoid激活函数生成权重与原始特征进行叠加输出空间注意力信息。本文将CBAM模块嵌入到YOLOv5模型的每个CSP结构的后面，整体网络不做其他变动，改进后的网络模型有效地提高了猪只行为的特征信息在通道和空间联系。嵌入CBAM注意力模块的YOLOv5网络模型结构如图1所示。图1 嵌入CBAM注意力模块的YOLOv5网络模型结构 1.2.2 模型训练 模型训练结束后，使用最优权重推理出猪只行为，推理结果如图2所示，训练的模型准确率均在90%以上，拟合效果较好。模型训练的硬件环境：CPU为Intel（R）Core（TM）i5-8265U CPU 1.60 GHz，GPU为NVIDIA GeForce 940Mx，计算机内存大小为8 G。软件环境：集成开发环境为Anaconda，深度学习框架为PyTorch。模型训练的部分超参数：epochs为50，batch_size为8，img-size为640640，learning_rate为0.0001，workers为8。2 结果 2.1 模型评估指标 为正确客观地评价CBAM注意力机制优化后的YOLOv5网络模型的拟合能力，本文引用的模 型 评 估 指 标 为交 并比IoU、模 型 准 确率2023年第年第年第年第8期期期期（总第总第总第总第313期期期期）试验研究试验研究试验研究试验研究 9 Precision和召回率Recall。图2 模型推理结果 交并比表示模型预测边界框和真实数据边界框之间的交集面积与并集面积之比，交并比IoU计算公式见公式（1）：IoU=RPRP （1）式（1）中P表示模型预测的边界框，R表示实际边界框。当P的边界框与R的边界框重合度越高时，即IoU值越趋于1时，表明网络的检测效果越好。混淆矩阵定义如表1所示，在本文中Positive表示的是猪的真实行为的正样本、Negative表示不是猪的真实行为的负样本，TP表示样本中检测到猪的行为并且成功预测猪行为的数量，FP表示检测到猪的行为但预测错误的猪行为的数量，FN表示没有检测到猪有某种行为但样本存在猪某种行为的数量，TN表示检测到猪的某种行为但样本中猪没有该行为的数量。表1 混淆矩阵定义 预测值 混淆矩阵 Positive Negative True TP（True Positive）FN（False Negative）真实值 False FP（False Positive）TN（True Negative）准确率的含义为所有预测结果中成功预测猪的行为占所有预测结果中的比例，准确 率Precision的计算公式见公式（2）：Precision=FPTPTP+（2）召回率为所有预测为正的样本中实际为正样本的比例，召回率Recall的计算公式见公式（3）：Recall=FNTPTP+（3）平均精度AP（Average Precision）表示预测类中每个召回率中最大精确率的平均数。mAP（mean Average Precision）为各个预测类的平均精度，在本文猪只行为识别问题中，预测类根据行 为 分 为 站 立 行 为（standing）、伏 地 行 为（lying）、坐行为（sitting）。2.2 模型评估结果 模型评估结果如图3所示。由准确率迭代曲线可知，随着迭代次数的增加，模型识别的准确率在第010个epoch上下浮动，第1020个epoch逐渐上升，最后迭代曲线收敛于95%，说明本模型的准确率在训练集约在95%左右。由召回率迭代曲线可知，召回率在第20个epoch后收敛，收敛于90%左右。由mAP 0.5迭代曲线和mAP 0.5:0.9迭代曲线可知，随着网络训练的迭代次数不断增加，均值平均精确度0.5逐渐收敛于95%，均值平均精确度0.5:0.9也在第35个epoch中收敛到88%左右。A B C D 图3 模型评估结果图 A.召回率迭代曲线；B.准确率迭代曲线；C.mAP 0.5迭代曲线；D.mAP 0.5:0.95迭代曲线 通过分析训练过程的准确率、召回率以及mAP迭代曲线可以得出，采用CBAM网络结构召回率 准确率 mAP 0.5 mAP 0.5:0.95 迭代周期 迭代周期 迭代周期 迭代周期 山东畜牧兽医山东畜牧兽医山东畜牧兽医山东畜牧兽医 2023年第年第年第年第44卷卷卷卷 10 优化的YOLOv5网络模型的训练效果非常理想，网络模型均在第35个epoch前收敛，对猪只行为识别的准确度高，可以较好地完成猪只行为识别检测任务。2.3 基于PyQt框架的猪只行为识别可视化系统 基于猪只行为识别模型，对猪只行为识别需求进行分析，使用PyQt库开发了猪只行为识别可视化系统，可以对猪只图片和视频进行检测，实时显示检测结果中的猪只行为信息。系统的数据读取与参数设置模块，读取待检测的猪只视频或图片文件，设置检测过程中的相关参数。检测结果显示模块显示检测的目标文件和检测结果。猪只行为统计模块显示当前猪的行为及该行为猪的个数。猪只行为检测可视化系统使用便捷，选择需要检测的图片或者视频，设置相应的IoU值和置信度值（图4）。检测完成后，在右侧显示检测结果，包括当前检测文件中猪的行为以及该行为的置信度，当前测试数据测试出的结果置信度都在90%以上。视频检测时可选择是否启用帧间延时，达到更稳定的视频检测效果。在视频检测过程中会出现视频播放的进度条，左上角会显示帧率，也可以点击暂停来观看当前帧的检测结果。经试验测试表明，本文设计的猪只行为检测系统可以满足日常的使用需求，实现了对猪只行为检测的可视化操作。图4 猪只行为的视频检测结果 3 讨论与结论 在猪只的养殖过程中，不仅要提供适宜的环境，充足的养料，还要对猪只的健康状况进行高效准确的监测，猪只的异常行为与健康状况有紧密的联系。使用传统人工方式监测猪只行为效率低下，监管成本较高，不利于养殖效益的提高。而基于深度学习的猪只行为识别技术可实现自动化的监测，大大提高了管理效率，对猪只养殖业的发展有重要意义。本文采用CBAM注意力机制优化YOLOv5算法并训练猪只行为识别模型，在测试集的识别准确率达到93%，在研发的猪只行为识别可视化系统运行，研究成果对猪的生产和基于深度学习的猪只识别研究具有一定的价值。在光线条件较暗的情况下，猪只行为识别结果的准确率稍低，后续需要增加光线较暗的猪只数据集并通过优化网络模型等方式提高识别的准确率。参考文献 1 吴世海,鲍义东,陈果,等.基于机器视觉技术的猪行为活动无接触识别系统J.计算机系统应用,2020,29（4）:113-117.2 李丹,陈一飞,李行健,等.计算机视觉技术在猪行为识别中应用的研究进展J.中国农业科技导报,2019,21（7）:59-69.3 杨阿庆.基于计算机视觉的哺乳母猪行为识别研究D.广州:华南农业大学,2019.4 薛月菊,朱勋沐,郑婵,等.基于改进Faster R-CNN识别深度（下转14页）山东畜牧兽医山东畜牧兽医山东畜牧兽医山东畜牧兽医 2023年第年第年第年第44卷卷卷卷 14 3 讨论与结论 由于过硫酸氢钾复合物粉在配比上的差异，其消毒效果也存在差异11-12。因此，本文以某公司生产的过硫酸氢钾复合物粉为研究对象，评估了其对常见病原菌和病毒的杀灭效果，还对其现场消毒效果进行了评价。结果表明，该过硫酸氢钾复合物粉对常见病原菌和病毒有很好的消毒效果，且对革兰氏阴性菌的杀灭效果比革兰氏阳性菌好，这与刘元元等11的结果相似。本研究发现该过硫酸氢钾复合物粉对猪繁殖与呼吸综合征病毒和猪圆环病毒型的消毒效果较差，可能与这两种病毒对含氯消毒剂不敏感导致。纪知刚13和Shirai等14研究表明，大部分消毒剂灭不了猪圆环病毒型，而猪繁殖与呼吸综合征病毒更耐含氯消毒剂，这与本试验的研究结果一致。本研究检测出的过硫酸氢钾复合物粉最低有效杀菌和杀毒浓度都比较低，并且该过硫酸氢钾复合物粉对食槽、水槽、地面、墙面表面的细菌有很好的消毒效果，这与刘元元等10的结果相似。较低的杀菌和杀毒浓度和较好的表面消毒效果有利于生产实践中成本的控制和大规模应用。综上所述，该过硫酸氢钾复合物粉无刺鼻气味，具有良好的溶解性和稳定性，无论是对单种细菌或病毒，还是对饲养环境均具有较好的消毒作用。参考文献 1 罗冠群,白哲永,宋永臣,等.6种消毒剂消毒效果的比较J.养殖与饲料,2012,13（12）:15-16.2 桂永.畜禽养殖场消毒的误区及解决方案J.今日畜牧兽医,2021,37（12）:45-53.3 杨俊芸,黄恩龙,胡军,等.一种过硫酸氢钾复合物粉的消毒性能评价J.四川畜牧兽医,2019,46（10）:27-30.4 Anipsitakis GP,Tufano TP,Dionysiou DD.Chemical and microbial decontamination of pool water using activated potassium peroxymonosulfateJ.Water Res,2008,42（12）:2899-2910.5 周德刚,李朋朋,师梦超,等.过硫酸氢钾复合物粉的制备及其相关性能研究J.中国动物保健,2020,22（8）:68-71.6 农业部兽药评审中心.兽药质量标准汇编（2006-2011年）M.北京：中国农业出版社，2012.7 黎健业,梁劲康,吴志玲,等.过硫酸氢钾复合物粉质量研究J.中国兽药杂志,2021,55（5）:28-36.8 农（牧药）字第101号,兽用消毒剂鉴定技术规范（试行）S,1992.9 GB15981-1995,消毒与灭菌效果的评价方法与标准S,1996.10 刘元元,蒋天泽,陈玲,等.过硫酸氢钾复合盐颗粒现场消毒效果试验J.黑龙江畜牧兽医,2019,583（19）:133-134.11 刘元元,蒋天泽,陈玲,等.过硫酸氢钾复合盐颗粒对特定细菌的表面消毒效果现场评价试验J.黑龙江畜牧兽医,2019,587（23）:111-113.12 刘伯承,王慧,刘俊琦,等.不同条件对过硫酸氢钾复合粉杀菌效果的影响研究J.湖南畜牧兽医,2021,226（6）:34-36.13 纪知刚.合理使用消毒剂是控制猪传染病的关键J.农村养殖技术,2008,241（4）:23.14 Shirai J,Kanno T,Tsuchiya Y,et al.Effects of chlorine,iodine,and quaternary ammonium compound disinfectants on several exotic disease virusesJ.J Vet Med Sci.2000,62（1）:85-92.（收稿日期：2022-10-18）（上接10页）视频图像哺乳母猪姿态J.农业工程学报,2018,34（9）:189-196.5 李丹,张凯锋,李行健,等.基于Mask R-CNN的猪只爬跨行为识别J.农业机械学报,2019,50（S1）:261-266,275.6 李菊霞,李艳文,牛帆,等.基于YOLOv4的猪只饮食行为检测方法J.农业机械学报,2021,52（3）:251-256.7 Li S,Kang X,Feng Y,et al.Detection method for individual pig based on improved YOLOv4 Convolutional Neural NetworkC.New York:ACM,2021:231-235.8 季照潼,李东明,王娟,等.基于深度学习YOLO v4的舍养育肥猪行为识别J.黑龙江畜牧兽医,2021（14）:39-42,151.9 丁奇安,刘龙申,陈佳,等.基于Jetson Nano+YOLO v5的哺乳期仔猪目标检测J.农业机械学报,2022,53（3）:277-284.10 WOO S,PARK J,LEE J Y,et al.CBAM:Convolutional block attention moduleJ.European Conference on Computer Vision,2018,10（8）:168-203.（收稿日期：2022-12-16）