基于改进YOLOF的热红外死兔识别方法_赵文昊.pdf

2023(15):118-122特种动物研究收稿日期:2022-09-25;修回日期:2022-12-10基金项目:财政部和农业农村部 国家现代农业产业技术体系项目(CARS-43-D-3)作者简介:赵文昊(1997 ),男,硕士研究生,研究方向为图像处理、智能养殖装备,1041669841 .通信作者:庞昌乐(1963),男,教授,博士,研究方向为畜禽养殖与装备,pangcl .DOI:10.13881/ki.hljxmsy.2022.09.0207 基于改进 YOLOF 的热红外死兔识别方法 赵文昊,王红英,裴日武,庞昌乐(中国农业大学 工学院,北京 100083)中图分类号:S829.1;S818.5文献标识码:A 文章编号:1004-7034(2023)15-0118-05摘 要:为了减轻人工巡检死兔的劳动强度,实现笼养条件下的死兔自动识别,提高兔舍自动化饲养水平,试验采用深度学习和热红外成像技术相结合的方法,通过热红外成像仪采集笼养环境下的死兔视频,构建热红外死兔图像数据集,基于轻量化改进的 YOLOF 模型构建死兔识别模型,测定七种轻量级主干网络和四种特征融合网络对死兔识别模型的参数量、检测速度及精度的影响。结果表明:以Mobilenetv3 作为主干网络和嵌入 SRM 的 ASPP 结构作为感受野增强网络的改进模型精确率为93.1%,召回率为 89.2%,平均精确率为 95.0%,相比原模型平均精度仅降低 0.5%,参数量降低91.8%,检测速度提升 4.2 帧。说明改进热红外死兔识别模型易于部署、识别精度高,能够准确识别肉兔中的死兔个体。关键词:自动化检测;卷积神经网络;热红外;成像;YOLOF;死兔 开放科学(资源服务)标识码Open Science Identity(OSID)利用信息感知技术对养殖动物进行生长信息感知和异常状态诊断已经是畜禽养殖业的重要发展趋势1。死兔筛除是兔养殖过程中的关键工作,人工观察法是目前筛选死兔的主要方法。在规模化叠层笼养条件下,人工巡检死兔劳动强度较大且不及时,因此开发一种快速、准确的死兔自动识别方法,可实现自动巡检、快速定位,能推动兔养殖业的智能化发展。畜禽养殖动物信息感知手段可分为接触式和无接触式。接触式监测方法主要是采用物联网技术,通过内置式2-3或外部穿戴式传感器4进行动物体征数据采集、传输及分析。无接触式主要是通过声音5-6和图像分析动物的生长信息和生理状态。随着机器视觉技术的快速发展,基于图像数据分析动物的状态取得了较好的效果。通过采集养殖过程中动物的图像数据,采用图像分割7-9、目标检测10-13等方式提取关键特征,进而可以判断动物的健康状况、监测动物的行为。对于兔只目标检测,易诗等14通过改进 YOLOv3 网络,实现了野外环境下的野兔检测。对于养殖动物中的死亡个体,Liu H.W.等15采用 YOLOv4 网络构建了死鸡识别网络,实现了圈养环境下的死鸡检测,并开发了相应的死鸡捡拾装置。瞿子淇16根据鸡冠颜色和鸡爪形状特征,采用LibSVM 算法来区分死鸡和活鸡。针对死兔的位置不变性,段恩泽等17采用改进 Mask-RCNN 方法获取肉兔个体信息,采用光流法评估肉兔位移,以此来判断死兔,但花费的时间较长。研究结果表明,当环境温度为 15 时,家兔体温为 39.1 左右,体温较为恒定18。实地调研发现,可见光图片上呈现的死兔与活兔差异较小,尤其在死兔关键性状被遮挡时,从可见光图片上检出死兔的难度大大增加。基于上述现状,本文采用红外热像仪采集死兔图片并构建数据集,使用改进的 YOLOF 算法构建死兔识别模型,以期实现笼养环境下死兔的快速、准确检测。1 材料与方法1.1 数据采集数据来源于河南省济源市阳光兔业科技有限公司,于 2022 年 1 月 125 日在其肉兔养殖场采集4070 日龄的笼养伊普吕肉兔热红外视频。伊普吕肉兔舍为全封闭的双层笼养兔舍,其每个兔笼饲养36 只肉兔。安装在移动小车上的视频采集设备为InfiRay T2L-6 L 型红外热像仪,分辨率为 256 像素8112023(15):118-122特种动物研究192 像素。采集前调整好镜头拍摄角度后固定,采集时驱动软件参数设置为:发射率 0.98,湿度 0.72,色板为白热。视频帧速为 30 f/s,保存格式为 mp4。肉兔养殖兔笼为子母兔笼,前为子兔笼(产箱)后为母兔笼。由于兔笼整体过于狭长,为使采集到的视频仅包含单笼信息,分别采集子兔笼和母兔笼图像信息,采集方法见图 1。图 1 图像采集方法Fig.1 Image acquisition method1.2 图像预处理和数据集制作 通过软件提取死兔视频中的关键帧,共提取出3 443 张图片。使用 Labelimg 图像标注软件标注死兔目标,制作成 COCO 格式的数据集,其中训练集图片 2 640 张,验证集图片 658 张,测试集图片 145 张。使用 Mixup 和几何变换对训练集图片进行在线数据增强,验证集和测试集图片不做数据增强。为提升图像质量,对肉兔热红外图像进行滤波和增强处理。双边滤波在去除噪声的同时对图像细节保护较好,故采用双边滤波进行去噪处理。针对热红外图像对比度低、边缘模糊的问题,采用中心数为 5的 4 领域拉普拉斯算子进行锐化处理,使得肉兔目标轮廓更为清晰。经过预处理后的图像样例见图 2。图 2 图像预处理结果Fig.2 Results of image preprocessing1.3 YOLOF 结构及其改进YOLOF19由主干网络、编码器及解码器三部分组成。主干特征提取网络为 ResNet50,编码器接收来自主干网络的 C5 特征图,先通过 11 卷积和 33卷积压缩通道数量,后通过 4 组具有不同空洞率的残差结构来获取多尺度感受野的特征图。为减小模型参数量和运算量,降低模型部署成本,对模型进行轻量化改进,使用 Mobilenetv3 网络代替 ResNet50 网络;为更准确提取死兔图像特征,使用嵌入风格再校准模块(SRM)的 ASPP 结构代替串联空洞卷积模块,提升模型识别精度,原模型结构及改进后结构见图 3。图 3 YOLOF 结构及改进后结构Fig.3 YOLOF structure and improved structure1.3.1主 干 网 络 优 化 YOLOF 采 用 经 典 的ResNet50 作为主干网络,能够提取关键目标特征,但相较于肉兔可见光图像,肉兔热红外图像细节较少,活兔颜色特征突出且与死兔有明显差异,识别任务难度低。可视化原模型主干网络部分特征图见图 4。特征图存在大量的相似冗余,因此引入特征提取能力强的轻量化主干网络 Mobilenetv3 替代原有的结构,在保持较高检测精度的同时大幅减少模型运算量和参数量,降低模型部署成本。图 4 特征图可视化结果Fig.4 Results of feature map visualizationMobilenetv320结合了 Mobilenetv1 的深度可分离卷积来降低网络的参数量,采用 Mobilenetv2 具有线性瓶颈的反向残差结构降低了特征层信息损失、提高了特征传递能力,根据神经结构搜索(NAS)算法引入SE 轻量级注意力机制,使网络更加关注全局信息上的有价值特征通道并抑制无用的特征通道,利用9112023(15):118-122特种动物研究Hard-swish 激活函数来替代 swish 函数,其核心Bneck 结构见图 5。图 5 Bneck 结构Fig.5 Bneck structure1.3.2 特征融合网络优化 肉兔之间的遮挡及不同日龄的肉兔体型尺寸不同,造成图像上死兔目标尺寸不同,大小合理的感受野有助于死兔目标的提取。为应对单级特征图感受野所对应的目标尺寸范围有限问题,YOLOF 串联了 4 个具有不同空洞率的残差模块来获得具有不同感受野的特征图,但采样率较大的空洞卷积缺失小目标的有效特征,即使串行残差结构弥补了部分缺失信息,这部分信息却没有被有效、准确地利用,因此采用嵌入 SRM 注意力机制的 ASPP结构(简写为 SRM-ASPP)替换串联空洞卷积结构。ASPP 结构由一个 11 卷积、一个全局平均池化模块及三个不同空洞率的 33 卷积并行堆叠构成,随后采用 11 卷积来压缩特征通道数量。SRM 利用中间特征图的风格自适应重新校准特征图,总体结构见图 6。风格池化运算集合跨空间维度的特征响应来获得每个通道的风格特征,随后风格集成运算在通道维度上利用风格特征来生成特定的风格权重,该权重用于重新校准特征图,突出或抑制相关信息。图 6 SRM 结构Fig.6 SRM structure嵌入 SRM 的 ASPP 结构见图 7。在 33 卷积和11 卷积的基础上增加一个残差结构,残差结构由11卷积和 SRM 两条支路构成,11 卷积支路在 33 卷积提取特征的同时可实现恒等映射,补充遗失的特征信息,SRM 支路重新校准特征图突出了死兔关键特征。2 结果与分析2.1 试验条件及配置试验操作系统为 Windows Server 2012,处理器为Intel Xeon Gold 6148,深度学习框架为 PaddlePaddle,图 7 改进的 ASPP 结构Fig.7 Improved ASPP structure内存为 16 GB,显卡为 NVIDIA Tesla V100,显卡内存为 32 GB,并行计算环境为 CUDA10.1 和 cuDNN7.6,编程语言为 Python。为简化网络训练时间,提高网络精度,使用 COCO 数据集上训练得到的参数作为初始参数。优化算法为随机梯度下降法,初始学习率为 0.006 5,动量为 0.937,权重衰减为 0.000 55,输入尺寸为 416 像素416 像素,批大小为 24。2.2 模型试验与结果分析使用原模型及改进后的模型在训练集上进行训练,原模型为 YOLOF,改进模型 1 在原模型上将主干网络替换为 Mobilenetv3,改进模型 2 在改进模型 1 基础上将感受野增强模块替换为嵌入 SRM 的 ASPP 结构,选择精确率(Persion)、召回率(Recall)、平均精度(mAP)、每秒预测帧数(Batchsize=24)及参数量作为评价指标。模型训练过程中的损失变化见图 8。三种模型损失值在初期均快速下降,随后缓缓收敛至稳定,整体上并无大幅波动,说明模型训练超参数选择合理。原模型损失最小值稳定在 0.330 左右,损失值最小。改进模型 2 稳定在 0.373 左右,相较于改进模型 1 的最小损失值 0.389 进一步下降 0.016,两者的损失曲线在前期变化基本相同且收敛速度快于原模型。表 1 为消融试验结果,主干网络由 ResNet50 替换为 Mobilenetv3 后,平均精度经计算下降 1.8 个百分点,帧速上涨 6.0 帧/s,经计算参数量降低 92%,说明原主干网络存在较多的冗余,轻量级主干网络在保持一定精度的同时,可以大幅减少模型参数量,提升推理速度。引入 SRM-ASPP 后,相较于原模型,经计算平均精度仅降低 0.5 个百分点,帧速提升 4.2 帧/s,经计算参数量降低91.8%,同时改进模型2 的改进方法对召回率的影响大于精确率。0212023(15):118-122特种动物研究图 8 损失变曲线Fig.8 Loss curve表 1 消融试验结果Table 1 Results of ablation test模型召回率/%精确率/%平均精度/%每秒预测帧数/(帧 s-1)参数量/个原模型93.590.295.575.042 413 022改进模型 191.188.993.781.03 364 628改进模型 293.189.295.079.23 460 9882.3 模块消融试验2.3.1 主干网络对比试验 选择 7 种轻量级主干网络替 换 ResNet50,以 平 均 精 度、每 秒 预 测 帧 数(Batchsize=24)及参数量为评价指标,对比不同主干网络对模型性能的影响,试验结果见表 2。将主干网络替换为轻量级网络后,参数量降低的同时,模型精度 均 有 一 定 程 度 的 下 降。所 有 主 干 网 络 中,Mobilenetv3 的平均精度最优,为 93.7%,同时参数量最低。各主干网络对模型预测速度均有一定提升但效果 较 小,其 中 LCNet 网 络 预 测 速 度 最 优,为81.6 帧/s,与原模型相比提高 6.6 帧/s。表 2 不同主干网络对比试验结果Table 2 Comparative experimental results of different backbone networks主干网络平均精度/%每秒预测帧数/(帧 s-1)参数量/个MobileNetv190.277.49 437 022MobileNetv393.781.03 364 628GhostNet91.578.35 118 732ShuffleNetv290.679.45 791 334LCNet91.981.615 840 078ESNet92.878.04 203 311ResNet1893.580.913 698 1602.3.2 注意力机制对比试验 在改进结构 1 的基础上,选择 4 种嵌入不同注意力机制模块的 ASPP 网络代替串联空洞卷积模块,探究不同注意力模块对模型性能的影响,对比试验结果见表 3。注意力机制的变化对模型预测帧速影响较小,CBAM 的预测速度最优为 82.2 帧/s。注意力机制的加入小幅提升了模型的参数量和运算量,兼顾通道和空间的注意力机制要优于通道注意力机制,可见对于死兔检测任务来说,图像的空间全局信息有利于死兔目标识别。表 3 不同注意力机制对比试验结果Table 3 Comparative experimental results of different attention mechanisms注意力机制平均精度/%每秒预测帧数/(帧 s-1)参数量/个SE93.581.63 461 808CBAM93.882.23 462 204CA94.478.53 464 348SRM95.079.23 460 9882.4 检测结果分析网络识别正确的图像样例见图 9。在死兔目标无遮挡或遮挡较轻时,死兔特征较为突出,检测任务相对简单,网络可以正确识别死兔目标。图 9 识别成功样例Fig.9 Successful identification example识别失败样例见图 10。由于肉兔为高密度养殖,活兔、栅栏及料盒对死兔会造成严重遮挡时,网络无法提取到完整、有效的特征,导致识别失败。近距离活兔体温辐射带来的死兔体表升温,导致活兔与死兔主要分类特征模糊,网络较难识别出死兔。3 结论本研究提出了一种笼养环境下的死兔目标识别方法,在 655 张验证集上进行测试,最后改进的模型召回率为 93.1%,精确率为 89.2%,平均精度为95.0%,参 数 量 为 3 460 988,每 秒 预 测 帧 数 为79.2 帧/s,识别精度高、速度快,部署硬件要求低,具有重要的实用价值。1212023(15):118-122特种动物研究图 10 识别失败样例Fig.10 Identify failure samples本试验基于 YOLOF 模型,对比替换了 7 种不同轻量级主干网络,结果平均精度较原模型均降低较小,说明原模型主干网络存在较大的冗余,选择Mobilenetv3 网络替换 ResNet50 网络,减少了模型的参数量和运算量。对比 4 种不同主干网络,同时关注图像的空间全局信息和通道信息更有利于识别死兔目标,选择嵌入 SRM 的 ASPP 结构代替串联空洞卷积结构,可强化死兔关键信息。死兔识别难点主要在于遮挡及近距离活兔体温辐射带来的死兔体表温度升高,后续可尝试改进规模化养殖的兔笼结构、选择分辨率较高的热红外成像仪及更优异的模型来进行更深入研究,或者在实际养殖应用中进行一天多次巡检。参考文献:1 沈明霞,丁奇安,陈佳,等.信息感知技术在畜禽养殖中的研究进展J.南京农业大学学报,2022,45(5):1072-1085.2 赵继政,庄蒲宁,石富磊,等.基于物联网技术的奶牛瘤胃 pH 值和温度监测系 统研 究 J.农 业机械 学报,2022,53(2):291-298.3 张国锋,陶莎,于丽娜,等.基于植入式 RFID 感温芯片的猪体温与 饮 水 监 测 系 统 J.农 业 机 械 学 报,2019,50(S1):297-304.4 李丽华,刘志伟,赵学谦,等.基于加速度传感器的本交笼种鸡个体行为监测与识别 J.农业机械学报,2019,50(12):247-254.5 SHENG H,ZHANG S F,ZUO L S,et al.Construction of sheep forage intake estimation models based on sound analysisJ.Bios Yst Eng,2020,192:144-158.6 CUAN K X,ZHANG T M,HUANG J D,et al.Detection of avian influenza-infected chickens based on a chicken sound convolutional neural networkJ.Comput Electron Agr,2020,178:105688.7 方鹏,郝宏运,李腾飞,等.基于注意力机制和可变形卷积的鸡只图像实例分割提取 J.农业机械学报,2021,52(4):257-265.8 李琦,刘伟,赵建敏.基于双目视觉及 Mask RCNN 的牛体尺无接触测量J.黑龙江畜牧兽医,2020(12):46-50,159-160.9 陈海燕,陈刚琦.基于语义分割的高原鼠兔目标检测J.华中科技大学学报(自然科学版),2020,48(7):7-12.10 金晶,毛星,张欣,等.基于 Sentinel-2 影像的淡水养殖水生动物类型识别研究J.河南农业科学,2022,51(4):160-170.11 肖德琴,林思聪,刘勤,等.基于红外热成像的生猪耳温自动提取算法J.农业机械学报,2021,52(8):255-262.12 季照潼,李东明,王娟,等.基于深度学习 YOLO v4 的舍养育肥猪行为识别J.黑龙江畜牧兽医,2021(14):39-42.13 薛勇,王立扬,张瑜,等.基于卷积神经网络的蜜蜂采集花粉行为的识别方法J.河南农业科学,2020,49(8):162-172.14 易诗,李欣荣,吴志娟,等.基于红外热成像与改进 YOLOV3的夜间野兔监测方法 J.农业工程学报,2019,35(19):223-229.15 LIU H W,CHEN C H,TSAI Y C,et al.Identifying images of dead chickens with a chicken removal system integrated with a deep learning algorithmJ.Sensors,2021,21(11):3579.16 瞿子淇.无人养鸡场死鸡检测方法研究D.长春:吉林大学,2019.17 段恩泽,王粮局,雷逸群,等.基于实例分割和光流计算的死兔识别网络研究J.农业机械学报,2022,53(2):256-264.18 谷子林,秦应和,任克良.中国养兔学M.北京:中国农业出版社,2013.19 CHEN Q,WANG Y,YANG T,et al.You only look one-level feature C /Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway:IEEE Press,2021:13039-13048.20 HOWARD A,SANDLER M,CHU G,et al.Searching for mobilenetv3 C /Proceedings of the IEEE/CVF International Conference on Computer Vision.Piscataway:IEEE Press,2019:1314-1324.Thermal infrared dead rabbit identification method based on improved YOLOFZHAO Wenhao,WANG Hongying,PEI Riwu,PANG Changle(College of Engineering,China Agricultural University,Beijing 100083,China)Abstract:In order to reduce the labor intensity of manual inspection of dead rabbits,realize automatic identification of dead rabbits under caged conditions,and improve the level of automatic feeding in rabbit houses,in this experiment,a combination of deep learning and thermal infrared imaging technology was used to collect videos of dead rabbits in captivity by thermal infrared imags,and to construct thermal infrared image data set of dead rabbits.The dead rabbit identification model was constructed based on the lightweight and improved YOLOF model,and the influences of seven lightweight backbone networks and four feature fusion networks on the reference number,detection speed and accuracy of the dead rabbit identification model were measured.The results showed that the accuracy of the improved model with Mobilenetv3 as the backbone network and the ASPP structure embedded in SRM as the field enhancement network was 93.1%;the recall rate was 89.2%,and the average accuracy was 95.0%.Compared with the original model,the average accuracy was only 0.5%which was lower and the reference number was 91.8%lower.Detection speed increased by 4.2 frames.These results indicated that the improved thermal infrared dead rabbit identification model was easy to deploy and had high identification accuracy,and could accurately identify dead rabbits in meat rabbits.Keywords:automatic detection;convolutional neural network;thermal infrared;imaging;YOLOF;dead rabbit(020)221