基于Cow-DETR与深度...像的非接触式奶牛体质量评估_沈维政.pdf

2 0 2 3 年 8 月农 业 机 械 学 报第 54 卷 第 8 期doi:106041/j issn 1000-1298 2023 08 027基于 Cow DET 与深度图像的非接触式奶牛体质量评估沈维政1张哲1戴百生1王鑫杰1赵凯旋2李洋3(1 东北农业大学电气与信息学院，哈尔滨 150030;2 河南科技大学农业装备工程学院，洛阳 471023;3 东北农业大学动物科学技术学院，哈尔滨 150030)摘要:针对当前牧场奶牛体质量(体重)称量效率低，人工参与容易引发奶牛应激等问题，提出了一种基于改进DET(Detection transformer)网络的端到端式奶牛体质量评估方法(Cow DET)，实现利用奶牛背部深度图像进行非接触式奶牛体质量评估。首先设计并搭建实验数据采集装置，利用 Intel ealSense D435 深度相机和体重秤采集奶牛背部深度图像和体质量数据;然后，通过边缘平滑滤波器和孔洞填充滤波器对深度图像进行补全处理，减少深度数据缺失对体质量评估的影响;最后，以 DET 网络为基础建立奶牛体质量评估模型，通过在预测模块中添加含有交替全连接层的体质量预测单元，提升奶牛体质量相关的特征信息提取能力，实现端到端式奶牛背部定位的同时进行奶牛体质量非接触式评估。结果表明，本文方法可以实现较高精度的奶牛体质量评估，通过 5 倍交叉验证，在含有 139 头奶牛数据的数据集中，平均绝对误差不超过 17.21 kg，平均相对误差不超过 3.71%，单幅图像平均识别时间为 0.026 s。通过与现有体质量评估方法相对比，本文方法比其他 6 种方法在更多的奶牛头数的数据集中取得了更低的平均绝对误差和平均相对误差，同时本文方法对奶牛站立姿势要求较低，更符合牧场实际生产需要，为奶牛体质量评估提供了新的解决思路。关键词:奶牛;体质量评估;目标检测;深度图像;深度学习中图分类号:S823;TP391.41文献标识码:A文章编号:1000-1298(2023)08-0277-09OSID:收稿日期:2022 12 03修回日期:2023 02 11基金项目:国家自然科学基金项目(32072788、31902210、32002227)、国家重点研发计划项目(2019YFE0125600)、黑龙江省重点研发计划项目(2022ZX01A24)和财政部和农业农村部:国家现代农业产业技术体系项目(CAS36)作者简介:沈维政(1977)，男，教授，博士生导师，主要从事智慧畜牧研究，E-mail:wzshen neau edu cn通信作者:戴百生(1986)，男，副教授，博士，主要从事计算机视觉和智慧畜牧研究，E-mail:bsdai neau edu cnNon-contact Predicting Method of Dairy Cow Weight Based onCow DET and Deep ImageSHEN Weizheng1ZHANG Zhe1DAI Baisheng1WANG Xinjie1ZHAO Kaixuan2LI Yang3(1 College of Electrical Engineering and Information，Northeast Agricultural University，Harbin 150030，China2 College of Agricultural Equipment Engineering，Henan University of Science and Technology，Luoyang 471023，China3 College of Animal Science and Technology，Northeast Agricultural University，Harbin 150030，China)Abstract:In order to solve the existence of some problems such as the low weighing efficiency of dairycows in the current pasture，and being easy to cause the stress of dairy cows by manual participation，anend-to-end method of dairy cow weight estimation(Cow DET)based on improved detectiontransformer(DET)network was proposed The non-contact estimation on the dairy cow weight wascarried out by using the depth image of dairy cow back Firstly，a data acquisition device was designedand built，with which the cow s back depth image and weight data were collected by using the IntelealSense D435 depth camera and the weight scale Then，deep image data was filled by using the edgeflat filter and hole filling filter to reduce the impact of deep data loss on weight estimation Finally，byadding the weight prediction unit with an alternate fully connection layer(AFC)to the prediction moduleof DET to establish a cow weight estimation model AFC was added to improve the ability of dairy cowweight-related feature extractingIt implemented the end-to-end dairy cow back positioning whileperforming a non-contact estimation of dairy cow weight by Cow DET model The data of 139 cowswere used to evaluate the model，and the results through 5-fold cross validation showed that the weightestimation method proposed can achieve a high accuracy in dairy cow weight estimation The averageabsolute error of weight estimation was below 17.21 kg，the average relative error was less than 3.71%The average recognition time was 0.026 s per image Compared with the existing weight estimationmethods，the results showed that Cow DET got lower average absolute error and average relative errorthan the other six methods in more dairy cow data In the meantime，the method proposed had lessrequirements on the posture of dairy cow，which can more comply with the actual production demand ofranch and provide a solution for the weight estimation of dairy cowKey words:dairy cow;live weight estimation;target detection;deep image;deep learning0引言体质量是体现奶牛健康状况的重要参数，奶牛体质量为评估奶牛个体的健康和生长状态、判断牧场环境的适宜性及饲料营养分配的合理性提供了一个重要依据1 5。及时关注体质量变化，调整饲料分配，对于降低成本，增加产奶量具有重要的实际意义6。目前国内牧场多采用传统称量方式进行奶牛体质量测量，评测效率较为低下，容易造成奶牛应激反应，影响产奶量7。随着智慧牧场概念的提出和计算机视觉的发展，基于计算机视觉的非接触式牲畜体质量评估受到研究人员广泛的关注。在非接触式体质量评估方面，国内外研究学者早期多基于二维GB 图像进行分阶段的非接触式奶牛体质量评估8 15，通过奶牛 GB 图像提取奶牛体长、体斜长、胸围、肩高、臀高和背部面积等体型数据，基于体型数据建立回归方程预估牲畜体质量。然而，二维图像不包含深度数据，不易获取奶牛背部曲面变化的信息，导致体质量评估精度不高。视觉传感器技术的发展和三维相机的低成本化，使其逐渐应用于智慧畜牧。部分学者开始研究应用含有深度信息的点云数据进行分段式奶牛体质量评估16 20，通过采集奶牛俯视和侧视深度数据，进行三维点云重建，进而利用通过点云提取到的奶牛体尺数据评估奶牛体质量。但是，三维重建对奶牛位姿要求较高，而奶牛的位置和姿态是动态变化的，需要人工参与挑选位姿合格的数据进行重建，导致重建精度无法保证，难以获取体尺数据，同时，分段式提取的体尺特征，会产生不可避免的误差，影响奶牛体质量评估的精度。为解决这一问题，更多学者开始研究基于对牲畜站立姿势要求较低，但与体质量相关性较高的背部视角的深度图像数据和深度神经网络的端到端式牲畜体质量评估模型21 22。文献 23提出一种改进的 Faster CNN 目标检测网络的端到端式牲畜体质量评估方法，对猪只体质量进行评估，该方法对猪只的站立姿势和图像采集环境没有限制。然而，传统目标检测的检测结果框中含有除牲畜背部以外的其他杂物，比如通道栏杆、地面上的粪便和其他障碍物等，容易影响奶牛背部数据中体质量相关特征提取的有效性，进而影响模型体质量评估的性能24。为此，本 文 提 出 一 种 改 进 DET(Detectiontransformer)网络的端到端式牲畜体质量评估方法 Cow DET，利用奶牛的背部深度图像，对奶牛体质量进行评估。通过 DET 网络的注意力机制25，更加关注奶牛背部深度信息，减少除奶牛背部外的栏杆、粪便、地面等杂物信息对体质量评估的干扰。此外，本研究在 DET 原结构的基础之上，在预测模块中添加含有交替全连接层(Alternate fullyconnected，AFC)的体质量预测单元，更好地提取奶牛体质量相关特征信息，进行体质量评估，以实现在检测奶牛个体的同时对奶牛体质量进行评估。1材料和方法1.1数据采集为了获取奶牛的体质量数据和对应的背部深度图像，本文设计了一套采集装置，如图 1 所示，包括深度相机(距地面约 2.5 m)和带围栏的体重秤(长约 2.5 m，宽约 0.9 m，围栏高约 1.5 m，整体高约2.5 m)。本研究将采集装置安装在奶牛采奶后必经区域，体重秤两侧围栏仅允许奶牛逐头单向通过数据采集装置，进行无接触式奶牛图像和体质量数据采集。经过多种深度相机对比，本文最终选择使用成本可控，室内外成像效果都较好的 Intel ealSenseD435 深度相机进行数据采集，将深度相机架设在数据采集装置的顶部，与地面平行，同时与 PC 端直连，以 Visual Studio 2017 为 开 发 平 台 并 基 于ealSense SDK 2.0 进行奶牛背部深度视频流数据采集，分辨率为 848 像素 480 像素，帧率为 30 f/s，在 2021 年 9 月和 2022 年 7 月于黑龙江省大庆市林甸县晟康牧业有限公司的奶牛养殖场，共采集 139头体型不一、体质量从 206 kg 到 781 kg 不等的奶牛背部深度图像序列，整理得到共计 14 421 幅图像。872农业机械学报2 0 2 3 年图 1奶牛数据采集装置图Fig 1Cow data acquisition device diagrams1.2数据补全处理由于牧场环境强光和奶牛背部黑色花纹对光线的吸收等影响，奶牛背部数据产生部分不规律的残缺。如图 2a 所示，奶牛臀部和肩部出现不同大小和形状的残缺，其包含错误的深度信息，会严重影响模型的体质量评估精度26 28。针对这一问题，本文利用 ealSense SDK 2.0 提供的边缘平滑滤波器和孔洞填充滤波器对深度图像数据进行补全处理29。首先采用边缘平滑滤波器对采集图像深度噪声进行平滑处理，确保图像保持较为合理且稳定的边缘。该滤波器通过对 x 轴和 y 轴进行扫描，获取目标像素深度值，计算一维指数移动平均线(Exponentialmoving average，EMA)以确定合适的平滑量，计算公式为St=Yt(t=1)Yt+(1)St 1(t 1 且 =|StSt 1|thresh)Yt(t 1 且 =|StSt 1|thresh)(1)式中 加权减少程度系数Yt 新记录的瞬时值(视差或深度)St 1 时间段 t 1 的 EMA 值thresh 深度阈值图 2深度图像滤波效果Fig 2Depth image filtering effect diagrams接下来进行空间域的孔洞填充，由于 D435 深度相机采用左成像器作为立体匹配算法的参考，因此本研究采用左侧有效像素(Left valid pixel)对深度数据缺失部分进行空间域的孔洞填充;最后进行时间域的孔洞填充，采用与边缘平滑滤波器相同类型的指数移动平均线滤波器，通过对深度图像的像素在时间域上应用指数滑动平均来进行孔洞填充，经过多次试验，系数 取 0.5、阈值参数 thresh取 20时可取得较好效果。最终补全效果如图 2b 所示，图 2a 中背部缺失部分得到有效填充，取得较完整的奶牛背部深度数据。运用上述方法对所有采集到的原始图像进行处理，得到用于模型训练的深度图像数据集。1.3数据标注与数据增强为了提升本实验算法的可重复性和实验结果的可信度，本研究模型均采用 5 倍交叉验证的方式进行训练和测试。将采集到的 139 头奶牛数据，共计14 421 幅图像，根据奶牛数量平均分成 5 份，每份包含约 20%样本。选择其中 4 份约 111 头奶牛作训练集，其余作测试集，为方便网络模型训练，本实验将体重秤采集到的体质量数据写入文件名中，文件命名格式为:index_weights_.png，如:000001_596_ png。本实验需要进行两个类别的目标分类检测，分别为奶牛“cow”和 默 认 背 景 类“background”，采 用LabelImg 标记软件进行标注，为了减少奶牛头部对实验结果的影响，标注时标注框不包含牛头部，并将图像标注内容记录到 XML 格式文件中，包括图像索引、图像大小、对象类别、位置坐标和体质量真值。为了丰富训练集的图像数据，避免过拟合现象的发生，本文通过镜像和旋转来扩大训练数据集，其中镜像的对称轴为图像中心线。经过镜像和旋转处理后，训练集图像总数扩大近一倍。将训练集和测试集名称写入 TXT 格式文件中，用于后续奶牛体质量评估模型的训练。1.4Cow DET 奶牛体质量评估模型为了实现奶牛目标检测的同时进行奶牛个体体质量评估，并且减少检测框内除奶牛背部外的背景等杂物对体质量评估的影响，本研究提出一种改进的 DET 网络的端到端式奶牛体质量评估模型 Cow DET。该网络包含 3 个模块，分别为骨干网络模块、Transformer 编码器与解码器模块、预测模块。其中骨干网络模块为基础特征提取模块，负责对图像进行特征提取;Transformer 编码器与解码器模块采用注意力机制，对骨干网络模块的输出进行特征提取，通过注意力机制，能够关注奶牛背部区域，减少背景中栏杆、粪便等杂物信息的干扰，提高后续预测模块的预测精度;预测模块在 DET 网络原有基础之上，增加了含有交替全连接层的体质量预测单元，接受 Transformer 编码器与解码器模块传来的 Token，对其进行检测框预测、类别预测和体质量预测，实现了高精度牛背目标检测的同时预测奶牛体质量。整体网络结构如图 3 所示。972第 8 期沈维政 等:基于 Cow DET 与深度图像的非接触式奶牛体质量评估图 3整体网络结构Fig 3Structure of neural network1.4.1骨干网络模块骨干网络为基础特征提取模块，通过对深度图像进行卷积，获得图像特征向量。为了更好地提取特征同时避免随机梯度爆炸、消失等问题，本研究选用 esNet 50 作为基础特征提取网络，具体结构如表 1 所示。表 1esNet 50 网络结构Tab1esNet 50 network structure层数输出尺寸/(像素 像素)网络结构C1424 2407 7，64，步长为 2C2212 1203 3 max pool，步长为 21 1，643 3，641 1，2563C3106 601 1，1283 3，1281 1，5124C453 301 1，2563 3，2561 1，10246C526 151 1，5123 3，5121 1，20483通过卷积神经网络从输入图像 Xpng1 H0 W0(单通道数据)中获取低分辨率的特征映射 fC H(WC=2 048，H=H032，W=W0)32。之后将输出特征进行 1 1 卷积降维，展平处理以得到特征序列，并输入到 Transformer 编码器与解码器模块。1.4.2Transformer 编码器与解码器编码器模块包含 6 层，每层由一个多头自注意力层和一个前馈网络(Feed forward network，FFN)组成，由于编码器对排列数序不敏感，因此需要对特征序列中的向量进行位置编码，将位置信息和特征向量一并输入编码器，编码器通过对骨干网络的输出进行特征提取，利用注意力机制，更好地关注奶牛背部相关的特征信息，进而减少背景中栏杆等杂物对后续预测的干扰，结构如图 4 左侧所示。图 4编码器与解码器结构图Fig 4Image of transformer encoder and decoder解码器结构和编码器类似，通过对编码器输出的特征图进行特征提取，将编码器的输出和 N 个查询对象作为输入，同时将固定数量的位置编码嵌入到 N 个查询对象中，对 N 个查询对象根据编码器提取到的特征进行重构。输出 N 个包含不同信息的Token，通过将 N 个 Token 输入后续的预测模块，进行检测框预测、目标分类预测和体质量预测，结构如图 4 右侧所示。1.4.3预测模块设计预测模块部分由3 个并行的全连接模块构成，其共享输入特征，分别输出检测框坐标，类别置信度和奶牛体质量归一化值。该模块接受编码器解码器输出的 N 个 Token，对不同 Token 分别进行预测，具体网络结构如图 5 所示。其中检测框预测082农业机械学报2 0 2 3 年单元通过多层感知机(Multilayer perceptron，MLP)与 Sigmoid 函数结合的方式实现，输出神经元个数设置为 4，最终输出检测框的中心坐标(x 和 y)以及检测框的长和宽(h 和 w)。目标分类预测单元通过单个全连接层(Fully connected，FC)实现，由于本研究是背景和奶牛背部的二分类预测，预测单元输出维度设置为 2，最终输出的类别为奶牛或背景。图 5预测模块网络结构图Fig 5Image of prediction module network structure对于体质量预测单元，本研究引入全连接层构建回归分支进行体质量预测，为了更好地提取奶牛体质量相关特征信息，以提高体质量预测的精度，本文构建了一个全新的交替全连接层，用于体质量预测，如图 5 中体质量预测单元所示，模块输入是 256维数据，首先分为 2 个分支，一个分支是 256 维作为输入、64 维作为输出的单全连接层，另一个是 256维作为输入、64 维作为输出的双全连接层。然后将双全连接层的输出作为输入，输入到 64 维作为输入、16 维作为输出的单全连接层。同时将 2 个 64维的输出进行结合，作为后续 128 维作为输入、16维作为输出的双全连接层的输入。最后将 2 个输出为 16 维的全连接层的输出结合，输入到最后一个全连接层，进行归一化奶牛体质量的预测。与单个全连接层直接预测归一化奶牛体质量相比，交替全连接层可以分层次进行特征提取，同时结合上层特征，有利于得到准确的回归预测。由于本研究采集的奶牛体质量数据范围跨度较大，这样未经处理的数据输入到神经网络会对体质量评估造成干扰。为了减少干扰，加快网络的收敛速度，提高模型训练效率，本研究将奶牛图像对应的真实体质量标签输入到网络训练之前，对其进行归一化处理，使其映射到 0，1，计算公式为Y(i)=y(i)yminymax ymin(2)式中Y(i)奶牛 i 真实体质量归一化值y(i)奶牛 i 的体质量真值ymin 测试集奶牛体质量最小值ymax 测试集奶牛体质量最大值体质量估计值为网络输出层输出值经过反归一化计算所得的数值，计算公式为槇y=Y(ymax ymin)+ymin(3)式中Y 网络预测的奶牛体质量归一化值槇y 网络预测的奶牛体质量反归一化值1.5损失函数设计损失函数 L 主要由检测框预测损失 Lbox、目标分类预测损失 Llabel和体质量预测损失 Lweight组成。本研究的体质量评估模型采用联合训练方式，当真实标签和候选区域之间的 IOU(交并比)大于 0.7时，该 Token 被认为是正例。当且仅当 Token 为正例，该特征值才会进行损失函数计算，计算公式为L=1Lbox+2Llabel+3Lweight(4)式中1、2、3 损失函数权重1.5.1检测框预测损失本研究的检测框损失函数由损失函数 L1和 Liou182第 8 期沈维政 等:基于 Cow DET 与深度图像的非接触式奶牛体质量评估组成，L1不仅提高检测准确率、避免梯度爆炸还可以快速收敛到更高的精度，提高模型的鲁棒性。但是L1在求解预测框时仅关注 4 个点的损失值，并没有关注 4 个值之间的关联性，不能反映真实框和预测框之间的包含关系，为此本研究引入损失函数 Liou，将预测框作为一个整体进行回归。具体损失函数计算公式为Lbox(b(i)，bi)=iouLiou(b(i)，bi)+L1b(i)bi1(5)Liou(b(i)，bi)=(1|b(i)bi|b(i)bi|B(b(i)，bi)b(i)bi|B(b(i)，bi)|(6)式中iou、L1 权重参数b(i)第 i 个索引的真实框bi 第 i 个索引的预测框B(b(i)，bi)b(i)和bi的最小包围矩形B(b(i)，bi)b(i)bi B()中没有覆盖b(i)和bi的面积1.5.2目标分类预测损失本研究的目标分类损失 Llabel采用交叉熵损失函数，交叉熵损失函数可以很好地描述输出值与真实值之间的距离，通过不断学习、优化模型预测的每个类别的概率与真实标签类别之间的距离，以达到正确分类的目的，具体计算公式为Llabel=ni=0lg(p(i)ci)(7)式中n 测量样本总数p(i)预测类别输出ci 真实类别输出1.5.3体质量预测损失体质量预测损失采用传统的损失函数 L1，该损失函数有稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解，常用于回归预测。具体损失函数计算公式为Lweight=1nni=1|Y(i)Y(i)|(8)式中Y(i)第 i 个奶牛体质量预测归一化值2实验设置2.1实验环境实验在 Linux 系统环境下运行，采用能够支持GPU 加速和动态神经网络的深度学习开源框架Pytorch 1.10，配合 CUDA 11.0 进行训练。服务器搭载的处理器为 Intel Xeon E5 2678V3 CPU，2.50 GHz，48 核，内存为 270 GB，显卡为 TX3090 8。2.2参数设置本研究通过解析视频流文件，获取到 848 像素 480 像素、16 位、单通道、PNG 格式的图像数据作为数据集，将采集到的 139 头奶牛数据，按奶牛头数平均分成 5 份，选择其中 4 份作为训练集，其余奶牛数据组成测试集，采用 5 倍交叉验证的方式进行训练和测试。批量大小(Batch size)在显卡内存允许范围内设置得尽可能大，模型迭代次数共计 60 周期。优化器为 Adam，其中骨干网络模块的学习速率为1 105，其他模块学习速率为 1 104，权值衰减为 1 105，解码器的查询对象设为 100。根据经验损失函数的权重 1、2、3分别设置为 5、1、1。训练网络使用在 COCO 数据集上预训练的网络模型进行迁移学习，参数在预训练模型的基础上根据本实验图像数据进行微调，通过此方式进行训练可以有效减少总体需要训练的迭代次数，大约在40 次迭代后，模型收敛。2.3评价指标为了评估本文方法并与其他非接触式体质量评估模型进行对比，本文采用平均绝对误差(Meanabsolute error，MAE)和平均相对误差(Mean relativeerror，ME)作为判断标准。此外，本文还利用单幅图像平均预测时间，来评估算法的时效性。图 6交叉验证数据集划分Fig 6Cross-verification data set division2.4交叉验证为了评估本文模型的性能，提升本文实验算法的可重复性和实验结果的可信度，本文模型均采用5 倍交叉验证的方式进行训练和测试，首先将采集到的 139 头奶牛数据，共计约 14 421 幅图像，按奶牛头数平均分成 5 份，每份包含大约 20%的样本。每次实验顺序选择其中 4 份约 111 头奶牛作为训练集，其余作为测试集，数据集划分结果如图 6 所示。利用训练集对模型进行训练，并在对应的测试集中进行测试，共进行 5 次训练和测试，将 5 次测试集的测试结果的平均值作为该模型的最终预测结果，就可以得到整个数据集的预测结果。282农业机械学报2 0 2 3 年3结果与分析3.1交替全连接层有效性验证为了验证本文提出的交替全连接层对奶牛体质量评估精度提升的有效性，使用本文实验构建的数据集对以下模型进行训练和测试:体质量预测模块为交替全连接层的 Cow DET 模型、体质量预测模块为单全连接层的 Cow DET(w/o AFC)模型、文献 23 所提出的基于 Faster CNN 的体质量评估模型与其体质量预测模块替换为交替全连接层的改进 Faster CNN(w/AFC)体质量评估模型，文献 24 所提出的基于 BotNet 的体质量评估模型与其体质量预测模块替换为交替全连接层的改进BotNet(w/AFC)体质量评估模型。测试比对结果如表 2 所示。表 2不同体质量评估模型性能对比Tab2esults of test dataset体质量评估网络MAE/kgME/%单幅图像平均预测时间/sFaster CNN26.835.990.025Faster CNN(w/AFC)24.325.040.029BotNet22.874.750.026BotNet(w/AFC)20.514.210.028Cow DET(w/o AFC)22.114.530.022Cow DET17.213.710.026从表 2 可以看出，交替全连接层可以大大减少MAE，有效提高体质量评估精度，其中 Faster CNN(w/AFC)的 MAE 为 24.32 kg，相比 Faster CNN 提升 9.36%，ME 为 5.04%，相比 Faster CNN 减少 0.95 个百分点;BotNet(w/AFC)的 MAE为 20.51 kg，相比 BotNet 提升 10.32%，ME 为4.21%，相比 BotNet 减少 0.54 个百分点;体质量预测模块为交替全连接层的 Cow DET 体质量评估效果最好，MAE 为 17.21 kg，与 Cow DET(w/oAFC)相比，精度提升22.16%，ME 为3.71%，相对于 Cow DET(w/o AFC)减少 0.82 个百分点。Cow DET 与 Faster CNN(w/AFC)、BotNet(w/AFC)相 比，MAE 分 别 提 升 约 29.24%和16.09%;ME 分别减少 1.33、0.5 个百分点，主要原因是本文提出的Cow DET 模型采用注意力机制，可以更加关注奶牛背部深度信息，有效地避免除目标奶牛背部外的栏杆、粪便等杂物信息对体质量评估精度的影响。综上，交替全连接层可以提升奶牛特征提取的能力，有效地提高体质量评估精度，本文提出的Cow DET 在 4 种网络模型中具有最低的 MAE 和ME，单幅图像平均预测时间为 0.026 s，可以实现奶牛体质量实时且较高精度评估。3.2与分段式体质量评估模型对比为了对比端到端的体质量评估方法与分段式的体质量评估方法的效果，本研究设计了分段式体质量评估模型对比实验，首先通过单独训练 DET 目标检测网络进行个体目标检测，进而基于目标检测结果手工截取检测框内的奶牛深度图像;然后基于截取得到的深度图像数据集，设计单独的回归神经网络，预测奶牛体质量。与本文提出的 Cow DET端到端式奶牛体质量评估模型进行对比，经过 5 倍交叉验证，在测试集中对比结果如表 3 所示。表 3与分段式体质量评估模型性能对比Tab 3Comparison with segmented weights evaluationmodel performance体质量评估网络MAE/kgME/%单幅图像平均预测时间/sDET+egression Network28.505.960.200Cow DET17.213.710.026从表 3 可以看出，Cow DET 与 DET+egression Network 相比，其 MAE 提升 39.61%，ME 减少 2.25 个百分点。主要原因是，本文提出的 Cow DET 奶牛体质量评估模型，采用含有注意力机制的端到端的预测方式，相比于分阶段式体质量评估模型单独训练的 DET 目标检测网络，本文方法可以利用体质量信号对 DET 网络进行监督训练，使网络的注意力模块更加关注奶牛体质量之间的差异，更好地对奶牛特征进行提取和对体质量进行预测，且单幅图像平均预测时间更短，符合牧场实际需求30。3.3与现有其他体质量评估模型对比为了体现本文提出的 Cow DET 相比现有奶牛体质量评估模型的优势，将本文模型与现有奶牛体质量评估模型进行对比，对比结果如表 4 所示。表 4与其他奶牛体质量评估模型对比Tab 4Comparison with other cow weights evaluationmodels体质量评估模型MAE/kg测试集数量/头数据集数量/头Mask CNN+CNN9 201263基于 GB 图像体尺预测+多元线性回归10 17.52424三维重建+二元线性回归18 23.342929三维重建+多元线性回归19 18.266基于三维点云体尺预测+偏最小二乘法回归20 241010Cow DET17.21139139由表 4 可以看出，文献 10 和文献 19 相对于382第 8 期沈维政 等:基于 Cow DET 与深度图像的非接触式奶牛体质量评估其他现有体质量评估模型，其预测精度较高，但是其采集奶牛数据集数量相对较少，本实验使用的数据集共计 139 头奶牛，并采用 5 倍交叉验证的方式进行训练和测试，将5 次测试集的测试结果的平均值作为该模型的最终预测结果，可以得到整个数据集的测试结果，且本研究在测试集中的 MAE 为 17.21 kg，与文献 10和文献 19提出的方法相比分别提升1.66%和 5.44%。值得注意的是，表 4 中的现有体质量评估模型9 10，18 20 都使用了分阶段的方式预测奶牛体质量，该方式首先通过第 1 阶段的网络预测对奶牛体尺或面积等特征值进行提取，之后利用上述特征值单独训练体质量回归模块进行奶牛体质量评估。但是，前段网络提取的特征容易产生不可避免的误差，影响后续体质量评估精度。而本文提出的 Cow DET 奶牛体质量评估模型，采用端到端的预测方式，避免了分段式的误差问题，再次验证了本文所提出的奶牛体质量评估模型可以进行较高精度的奶牛体质量评估。3.4Cow DET 体质量评估模型评估结果与分析为了进一步分析本文所提出的体质量评估模型的预测精度，对该模型在 5 个不同测试集上的 5 次评估结果进行分析。本研究采用 5 倍交叉验证的方式进行训练和测试，可以得到整个数据集的测试结果，因此测试集共 139 头牛，共计 14 421 幅图像。本研究给出数据集中每头奶牛的体质量估计值和真实值，如图 7 所示。为了更清楚地描述本实验模型体质量评估值和真实值之间的接近程度，本研究在测试集中随机选取 800 幅图像，并给出了每幅图像体质量评估值和真实值之间的绝对误差和相对误差，误差曲线如图 8 所示。图 8 表明，体质量评估的绝对误差一般小于 23 kg(用红线标注)，仅有少数测量误差较大，但也小于 29 kg;体质量评估的相对误差较低，一般小于 4.8%(用红线标注)，主要在3.6%上下浮动，绝对误差较大的图像对应的相对误差也不超过 5.2%。通过计算 14 421 幅测试图像的体质量评估结果，平均绝对误差为 17.21 kg，平均相对误差为 3.71%，结果表明，本文所提出的奶牛体质量评估模型的体质量评估值与真实值相近，模型预测精度较高。图 9 显示了本文模型在真实奶牛活动场景中目标检测和体质量评估效果，其中“Cow”表示待测对象的类别，类别对应的数值表示类别预测的概率，最后数值表示体质量评估结果。本文提出体质量评估模型对待测对象站立姿势和奶牛站立方向要求较低，仅需奶牛完整的出现在摄像区域，就可以检测出目标类别，并对其进行定位，以及预测出目标的体质量参数。待测对象的类别及其概率以及相应体质量评估值在图中目标检测框的左上角区域进行显示。通过与真实值进行对比证明，本文所提出的模型可以同时实现奶牛背部定位和体质量评估且评估结果较为准确。图 7测试集检测结果Fig 7Detection results of test set图 8相对误差和绝对误差Fig 8elative error and absolute error图 9实例结果Fig 9esults of example4结论(1)提出了一种基于奶牛背部深度图像和改进 DET 算法的端到端式奶牛体质量评估方法(Cow DET)，利用奶牛背部曲面变化的信息，在实现了非接触式端到端的高精度奶牛体质量评估的同时减少对奶牛位姿的要求，以及避免分阶段482农业机械学报2 0 2 3 年的体质量评估方式对奶牛体质量评估精度的影响。(2)设计了一种深度图像补全处理方法，通过边缘平滑滤波器和孔洞填充滤波器，对奶牛背部深度图像进行补全处理，有效降低深度图像缺失对体质量评估的影响。(3)引入了 DET 网络，借助其注意力机制，更加关注奶牛背部，减少背景杂物信息对体质量评估的影响;同时在 DET 网络预测模块中添加了含有交替全连接层的体质量预测单元，能够对奶牛体质量相关特征信息进行更好的提取，实现了在检测奶牛个体的同时对奶牛体质量进行预测。(4)与现有其他体质量评估模型对比，本文体质量评估方法在奶牛数量更多的预