ImageVerifierCode 换一换
格式:PDF , 页数:8 ,大小:5.19MB ,
资源ID:2056952      下载积分:10 金币
验证码下载
登录下载
邮箱/手机:
验证码: 获取验证码
温馨提示:
支付成功后,系统会自动生成账号(用户名为邮箱或者手机号,密码是验证码),方便下次登录下载和查询订单;
特别说明:
请自助下载,系统不会自动发送文件的哦; 如果您已付费,想二次下载,请登录后访问:我的下载记录
支付方式: 支付宝    微信支付   
验证码:   换一换

开通VIP
 

温馨提示:由于个人手机设置不同,如果发现不能下载,请复制以下地址【https://www.zixin.com.cn/docdown/2056952.html】到电脑端继续下载(重复下载【60天内】不扣币)。

已注册用户请登录:
账号:
密码:
验证码:   换一换
  忘记密码?
三方登录: 微信登录   QQ登录  
声明  |  会员权益     获赠5币     写作写作

1、填表:    下载求助     索取发票    退款申请
2、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
3、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
4、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
5、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
6、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
7、本文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。

注意事项

本文(基于SimCC-ShuffleNetV2的轻量化奶牛关键点检测方法.pdf)为本站上传会员【自信****多点】主动上传,咨信网仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知咨信网(发送邮件至1219186828@qq.com、拔打电话4008-655-100或【 微信客服】、【 QQ客服】),核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载【60天内】不扣币。 服务填表

基于SimCC-ShuffleNetV2的轻量化奶牛关键点检测方法.pdf

1、2023年10 月第54卷第10 期农业报学机械doi:10.6041/j.issn.1000-1298.2023.10.027基于 SimCC-SShuffleNetV2的轻量化奶牛关键点检测方法宋怀波1.2华志新1.2马宝玲,2温毓晨,2孔祥凤1,2许兴时1,2(1.西北农林科技大学机械与电子工程学院,陕西杨凌7 12 10 0;2.农业农村部农业物联网重点实验室,陕西杨凌7 12 10 0)摘要:针对现有深度学习技术在奶牛关键点检测研究中尚存在网络复杂度高、检测速度慢等问题,提出了一种轻量化奶牛关键点检测模型SimCC-ShuffleNetV2。在模型中,主干网络采用ShuffleNet

2、V2用于特征提取,有利于实现网络的轻量化;检测头采用SimCC用于关键点位置预测,SimCC采取坐标分类的方法使得检测更加简单高效。为了验证模型的性能,本研究设计了奶牛的关键点及骨架结构,并标注了36 0 0 幅图像用于模型的训练与测试。试验结果表明,SimCC-ShuffleNetV2模型的APs0.9s为8 8.0 7%,浮点运算量为1.510,参数量为1.3110,检测速度为10.87f/s,可以实现奶牛关键点的精确与高效检测。与基于回归的DeepPose网络、基于热力图的HRNet网络进行了对比试验,结果表明SimCC-ShuffleNetV2取得了精度与速度的良好平衡。同时,本研究通

3、过更换不同主干与不同检测头的方式,对比验证了不同模块对模型性能影响,本研究所提出的模型在所有试验中均取得了最佳结果,表明ShuffleNetV2与SimCC的组合具备良好的关键点检测性能。为了验证模型的有效性,将模型应用于4种动作视频中提取骨架序列并将其送入ST-GCN网络以实现不同动作的分类,其分类准确率为8 4.56%,表明本研究提出的SimCC-ShuffleNetV2模型是良好的关键点提取器,可为奶牛行为识别等任务提供关键信息支撑。关键词:奶牛;关键点检测;ShuffleNetV2;Si m CC;动作识别中图分类号:TP391.4文献标识码:A文章编号:10 0 0-12 98(2

4、0 2 3)10-0 2 7 5-0 7OSID:Lightweight Keypoint Detection Method of Dairy Cow Based onSimCC-ShuffleNetV2SONG Huaibol.2HUA Zhixin l.2MA Baoling-2WEN Yuchenl.2KONG Xiangfeng1,2XU Xingshil.2(1.College of Mechanical and Electronic Engineering,Northwest A&F University,Yangling,Shaanxi 712100,China2.Key Lab

5、oratory of Agricultural Internet of Things,Ministry of Agriculture and Rural Affairs,Yangling,Shaanxi 712100,China)Abstract:Cow keypoint detection is important in research fields such as cow body measurement,behavior recognition,and weight estimation.However,existing deep learning methods for cow ke

6、ypointdetection still suffer problems such as high network complexity and slow detection speed.A lightweightcow keypoint detection model SimCC-ShuffleNetV2 was proposed.In this model,ShuffleNetV2 was usedas the backbone for feature extraction to achieve network lightweight.SimCC was used as the head

7、 toachieve keypoint position prediction.SimCC adopted a coordinate classification method that was simpleand efficient.To validate the effectiveness of the model,cow keypoints and skeleton structures weredesigned,and 3 600 images were annotated for training and testing.Experimental results showed tha

8、t theSimCC-ShuffleNetV2 model got an APso.95s of 88.07%,FLOPs of 1.5 10,parameters of 1.31 10,and detection speed of 10.87 f/s,achieving accurate and efficient detection of cow keypoints.Experimental comparisons with the regression-based DeepPose and Heatmap-based HRNet networksdemonstrated that Sim

9、CC-ShuffleNetV2 got a good balance between accuracy and speed.Moreover,different backbones and detection heads were replaced to verify the influence of different modules onmodel performance.And the proposed model achieved the best results in all experiments,demonstratingthat the combination of Shuff

10、leNetV2 and SimCC had good keypoint detection performance.The modelwas applied to extract skeleton sequences from four different action videos of cows,and the ST-GCNnetwork was used to classify the four videos,achieving an 84.56%classification accuracy,which收稿日期:2 0 2 3-0 3-12 修回日期:2 0 2 3-0 4-2 3基金

11、项目:国家自然科学基金项目(32 2 7 2 931)和陕西省技术创新引导计划项目(2 0 2 2 QFY11-02)作者简介:宋怀波(198 0 一),男,教授,博士生导师,主要从事模式识别研究,E-mail:s o n g y a n g f e i f e i 16 3.c o mFig.1Data collectionandannotationmethods图1数据采集与标注方式牛棚栏杆三摄像机农2762023年机报学业械indicated that the proposed SimCC-ShuffleNetV2 model was a good keypoint extractor

12、and could providekey information support for tasks such as cow action recognition.Key words:dairy cow;keypoint detection;ShuffleNetV2;SimCC;action recognition0引言奶牛关键点指奶牛身体部位重要的关节位置,如头部、肩部、腿关节等。关键点相连的骨架作为姿态的最直观体现,可以帮助实现奶牛动作行为的非接触识别,从而为姿态表征的疾病预警提供重要技术支持。同时,关键点检测还是牲畜体尺测量与身体部位分割的前置任务,可为奶牛的体重与体况分析提供更为高效的

13、数据支撑。综上,开展奶牛关键点检测技术的研究和应用,将有助于提高养殖效率和健康水平,具有重要研究价值 2 。传统关键点检测方法通过人工提取图像或视频中的关键点特征,如关节点之间的空间位置关系等,再通过机器学习算法进行学习和匹配其特征及规律 3。JIA等 4 通过骨架对奶牛不同身体部位进行划分用以评估其清洁度。该研究在获得奶牛骨架图的过程中采取特征距离变换,细化与特征检测等步骤,然后计算相邻的骨架路径,并与数据库中的模板进行相似度匹配以获得最佳匹配结果,最后确定每个骨骼分支所属的类别后,将身体分为不同部分。结果表明,侧视图与后视图的平均身体部位分割精度分别为96%和91%,为奶牛的分割任务提供了

14、借鉴。但该骨架提取方法受人为设计特征完备性较差、机器学习算法的特征提取和泛化能力较弱的影响,在实际生产过程中难以应用。随着深度学习的应用,关键点检测技术取得了较多进展。基于卷积神经网络(Convolutionalneuralnetworks,CNN)的方法 5 无需手动设计特征,从整幅图像中学习关键点表征,可以实现端对端的检测,具有良好的特征提取能力和泛化能力,常见的关键点检测网络包括Hourglas(0、D e e p Po s e(7 OpenPose8、H RNe t 等。诸多研究也将深度学习网络应用于奶牛关键点检测中,RUSSELLO等 10 使用T-LEAP姿态估计模型,将LEAP模

15、型修改为时间序列模型,从图像序列中检测关键点从而预估奶牛姿态,试验结果表明,在奶牛目标上的平均正确关键点的预估比例(Percentage of correctkeypoints,PCK)为93.8%。同时,奶牛关键点检测是实现体尺测量、动作识别等任务的基础 1。其中,体尺测量用于评估牲畜体型的大小,体尺关键点检测的准确度直接影响体尺测量的精度。赵宇亮等 12 为了对猪只的5项体尺指标进行非接触式测量,首先在DeepLabCut上选取EfficientNet-b6模型作为最优主干网络进行猪只体尺关键点检测,其测试集误差为5.13像素;在此基础上,通过3D坐标转换实现深度图像上关键点坐标的映射,并

16、对离群特征点进行优化,最后提取体尺曲线进行计算。奶牛关键点连接的骨架是姿态的最直观表征,奶牛的姿态数据可用于统计其基本运动行为时间。LI等 13 为了准确识别奶牛的基本运动行为(走、站、躺),利用HRNet提取奶牛骨架信息,在平行的二维卷积特征中以热图的形式添加对应的奶牛关键点与骨架信息,并选取了40 0 个包含该4种行为的奶牛视频进行训练与测试,结果表明,经过5次交叉验证,最终分类精度为91.8 0%。上述关键点检测研究大多基于手工提取,难以实际应用;或者依赖于DeepLabCut14平台,泛化性不足,且无法解决多目标间关键点的连接问题。目前基于深度学习的主流算法具备较高的准确率,但其网络复

17、杂程度也较高。为解决上述问题,本研究借鉴ShuffleNetV2模型的轻量化性能及SimCC所具有的高效简单的关键点坐标分类能力,提出SimCC-ShuffleNetV2轻量化模型,以期构建一种实时性强、精度高、鲁棒性强的奶牛关键点检测方法,为奶牛动作识别等研究奠定基础。1材料与方法1.1材料本研究视频数据采集于陕西省杨凌科元克隆有限公司,采用DS-2DM1-714型圆顶摄像机(海康威视)进行拍摄,摄像机速率为2 5f/s,分辨率为704像素48 0 像素。如图1所示,摄像机架设于背靠牛棚的长走廊外,目标与摄像机之间的围栏遮挡1.鼻子2.额头3.颈根4.右前腿根5.左前腿根6.右前膝7.左前膝

18、8.右前蹄9.左前蹄10.背部11.尾根12.右后腿根13.左后腿根14.右后膝15.左后膝16.右后蹄17.左后蹄277ShuffleNetV2的轻量化奶牛关键点检测方法宋怀波等:基于SimCC第10 期了一些关键点,会对骨架提取任务造成一定的干扰。如图1所示,本研究以最大的动物姿态数据集AP-10k为参考15,设计了奶牛关键点及骨架结构。从视频中截取18 0 0 幅图像用于关键点检测任务,为了有效模拟奶牛姿态的变化,采用镜像翻转的方式扩充数据集至36 0 0 幅。标注奶牛的边界框与关键点后将其保存为COCO格式,并按照6:2:2 的比例分为训练集、验证集和测试集。由于奶牛动作及姿态变化多样

19、且易受遮挡、光照等因素影响,奶牛关键点检测的准确性不高为了增强模型的鲁棒性,采集了不同情况的奶牛图像:正面视角:奶牛朝正面摄像头时,关节位置会产生一定的形变。关键点缺失:奶牛目标位于图像边缘时,部分关键点会缺失。躺卧姿态:奶牛在躺卧姿态下,某些关节点会被遮挡。小目标:拍摄距离较远时会造成奶牛目标在图像中占据的比例较小。训练集和测试集中均包含了各种影响因素下的奶牛图像,且在训练集和测试集中的比例基本保持一致。1.2试验平台试验在Windows10系统下进行,处理器为Intel(R)Co r e(T M)i 51140 0 F,图形处理器为NvidiaRTX2080Ti。深度学习框架为PyTorc

20、h,编程平台为PyCharm,编程语言为Python,所有算法均在相同环境下运行。1.3总体技术路线本研究总体技术路线如图2 所示,首先将图像送人SimCC-ShuffleNetV2模型,关键点检测过程类似于编解码,ShuffleNetV2用于提取并编码17 个关键点表征。SimCC用于对水平轴和垂直轴执行坐标分类,最后解码出关键点坐标。为了验证模型的有效性,将SimCCSh u f f l e Ne t V2 应用于行为识别任务。从40 0 段包含4种动作(行走、站立、躺卧、跛行)的视频中提取出骨架信息,并将骨架序列送人 ST-GCN(Spatial temporal graph convo

21、lutionalnetworks)【16 网络训练,ST-GCN利用时空图卷积来提取骨架序列间的时空信息,并将时空特征融合起来,最后输出动作分类结果。基于SimCC-ShuffleNetV2的轻量化奶牛关键点检测编码解码O(2),0(2)ShufleNetv2BackboneSimccHead(16)016)关键点表征基于ST-CCN的奶牛动作识别应用视频序列PCPoolBNST-GONST-CCNBlockBlock行为分类结果验证ST-CCN骨架序列图2总体技术路线Fig.2Overview of the proposed method1.4ShuffleNetV2网络结构ShuffleN

22、etV217为主干特征提取网络,结构如图3所示,其中Conv为卷积操作,DWConv(D e p t h w i s econvolution)为深度卷积。分组卷积操作让不同的卷积核学习不同的特征,从而提高模型的表达能力。左右分支连接后将输出特征进行通道混洗,从而达到不同通道间信息交换的目的,有利于增加模型的非线性表示能力。上述结构在保持网络准确性的同时,具有更高的计算效率和更小的模型参数,故本研究将其作为主干网络。1x1 Conv3x3DWConv3x3DWConv1x1Conv1x1ConvContactChannel shuffle图3ShuffleNetV2结构Fig.3Structu

23、reof ShuffleNetV2数数量,通常用衡量模型的复杂度和容量然后对所有层的结果求和。参数量表示模型中的参的计算方式是将参数量乘以输人数据的维度为重要的轻量化评估指标也纳人评价。浮点运算量operations,FLOPs)参数量(Params)与检测速度作Floating point轻量级模型,因此浮点运算量ShuffleNetV2 为此外,本研究所提出的SimCC为0.0 5时的平均APAPs0:95表示在OKS阅值从0.50 到0.95之间,步长AP。其中APso表示OKS阈值为0.50 时的AP,比例,然后计算PR曲线与坐标轴所围面积即为(Recall,R)被检测到的(Preci

24、sion,指检测结果真阳性的例,召回率于给定阈值T时,检测结果视为真阳性,精度当OKS大(IO U)【2 0,用于计算关键点检测的AP。度越高。OKS类似于目标检测中的交并比precision,AP来衡量,AP值越高明模型的准确Average模型的准确度采用平均精青度农2782.023年机报学械业1.5SimCC结构SimCcl18在网络中作为检测头,SimCC模块采用坐标分类的思路,将不同坐标值划分为不同类别,从水平与垂直维度将关键点坐标进行分类,从而实现关键点检测,其结构如图4所示SimCC三人线性投影0(16.0016)水平分类垂直分类图4SimCC结构Fig.4Structureof

25、SimCC在主干网络提取特征时,关键点由(n,H,W)展平至(n,HW),即输出n个关键点的一维向量。再通过线性投影将坐标编码为n个SimCC表征,表征后的坐标可以通过两条独立的一维向量来描述:p=((r o u n d(x Pk),r o u n d(y k)(1)代中round-线性投影一表征前的坐标表征后的坐标1一缩放因子经过线性投影后,输出的特征图维数为Wk维和Hk维。缩放因子k(k1)的作用是使一维向量长度超过图像边长,关键点定位精度增强到亚像素级别。在坐标解码过程中,给定的第p个关键点表征输人至仅一个线性层的水平和垂直坐标分类器。需将坐标还原到图像尺度,要将分类的最大概率所在位置除

26、以缩放因子,计算公式为argmax(O,(i)0(i)K(2)argmax(0,(i)0()式中(0(),0()-还原到图像尺度后的坐标(0(i),0,(i)一解码前的位置坐标argmax取最大值操作与直接基于像素点回归的模型不同,SimCC将定位问题转化为分类问题,可以避免回归模型存在的训练难度高、容易受到噪声和异常值影响等问题,具有更高的精度和鲁棒性。基于热力图的关键点检测方法通过显式地染高斯热图,让模型输出目标概率分布。由于特征提取时需要进行多次卷积和下采样操作,通常导致生成的热力图尺寸小于图像原尺寸,因此将坐标映射回原图时会存在不可避免的量化误差。而SimCC采用两个方向上、长度大于原

27、图像尺寸的一维向量对关键点进行表征,坐标表征为数值,精度不受缩放影响,避免了量化误差。1.6关键点检测评价指标OKS(O b j e c t k e y p o i n t s i mi l a r i t y)19 是一种用于衡量关键点预测值与真实值间相似度的度量指标。计算OKS时要首先提取关键点预测值与真实值间的特征向量,然后使用欧氏距离来计算两个特征向量的相似度,基于这种相似度计算,可以进行关键点的匹配和识别。OKS,的计算公式为expS0)OKS(3)P8(U.i0)式中OKS,第p个目标的OKS8用于选取可见点的计算函数Pi第p个目标的第i个关键点dpi关键点预测值与真实值间的欧氏距

28、离关键点的可见性piS目标边界框的面积P第i个关键点标注值和实际值间的标准偏差2结果与分析2.1SimCC-ShuffleNetV2训练结果本研究中共训练2 0 0 轮次,网络训练过程损失值与APso的变化曲线如图5所示。SimCC一ShuffleNetV2的网络参数空间较小且层数较低,训练过程中更容易找到全局或局部最优279第10 期宋怀波等:基于SimCCShuffleNetV2的轻量化奶牛关键点检测方法1.01000.9900.8800.7700.660%av0.5一损失值500.4APs0400.3300.2200.110工0020406080100120140160180200送代次

29、数/次图5训练过程Fig.5Trainingprocess解,故曲线收敛较快,当迭代次数达到50 次左右时,模型学习效果已经达到饱和,关键点损失值稳定在0.15左右,AP5.稳定在93%左右。2.2关键点检测效果SimCC-ShuffleNetV2在测试集上的APso:9为88.07%,A Ps o 为97.7 6%,参数量为1.3110,浮点运算量为1.510,检测速度为10.8 7 f/s。不同情况下关键点可视化效果如图6 所示,标示出17 个关键点并绘制出骨架。奶牛朝向摄像头位于正面视角时,关节位置会产生一定的变化,训练集中此类图像较少,但检测效果同样良好,表明模型的泛化能力较强。奶牛在

30、躺卧姿态下,有些关节点会被遮挡,模型检测时会预测被遮挡关键点的位置,虽然结果有一定偏离,但整体效果依然能准确反映奶牛姿态。在远距离情况下,此时奶牛目标较小,模型依然能准确标示出关键点位置,表明模型对小目标同样敏感。针对上述情况,一般采用尺度变换和多尺度融合技术来提高模型检测的准确性,而SimCCShuffleNetV2对正面视角、躺卧姿态与远距离情况下亦能准确检测,表明模型具备良好的性能(a)可视化效果(b)正面视角(c)躺卧姿态(d)远距离图6 不同情况下的关键点检测效果Fig.6Keypoint detection effects in different situations2.3关键点

31、误检分析如图7 所示,虚线框所指的缺失关键点被错误检测在非奶牛身体部位。模型检测效果较差的可能原因在于,本研究中数据集中包含的此类图像较少,模型可能会过拟合,缺失关键点被误认为是图像中某些类似的局部特征。此外,当奶牛关键点缺失时造成的姿态约束条件、关节角度等先验信息缺失也可能会导致模型误判。图7关键点误检Fig.7Errordetectionofkeypoint3结果与讨论3.1不同关键点检测算法性能比较为了评估SimCC-ShuffleNetV2模型对奶牛关键点检测的性能,在相同条件下,分别基于DeepPose、H RNe t 两种经典关键点检测算法对同一数据集进行训练,其中DeepPose

32、为直接基于回归的模型,HRNet为基于热力图的模型。采用APs0:95、浮点运算量、参数量与检测速度对训练完成后的模型进行评估。3种检测算法的性能指标如表1所示。对比其结果可知,SimCCSh u f f l e Ne t V2 的AP分别比DeepPose和HRNet提高2 3.6 5、2.16 个百分点。检测速度比DeepPose减少7.44f/s,比HRNet提高4.78f/s。其参数量分别比DeepPose和HRNet减少2.2310和2.7 2 10,浮点运算量分别减少8.9310、1.7 18 10。D e e p Po s e 直接基于回归方式无需过多后处理且主干网络为结构简单的

33、Alexnet21】,故检测速度较快。但同时Alexnet的学习能力有限,而且直接在图像像素点中回归坐标较为困难,故精度较低。HRNet能一直保持高分辨率的表征,生成的热力图尺寸也为高分辨率,预测的关键点在空间上更精确。但由于其复杂的网络结构带来了巨大计算量从而导致检测速度较慢。而SimCC-ShuffleNetV2在拥有最高准确度的同时有较快的检测速度,实现了精度与速度的良好平衡。表1不同关键点检测算法性能比较Tab.1Comparison of differentkeypoint detection models平均精度/浮点运速度/算法参数量%算量(fs-)DeepPose64.429.

34、0801092.36 10718.31HRNet85.911.73310102.851076.09本文算法88.071.5001081.31 10610.873.2不同主干网络性能比较主干网络是用于特征提取的主要组件,为了对比不同主干网络对模型性能的影响,保持SimCC为农2802023年机报学械业检测头,分别测试以Res-5022、Re s Ne St-50 2 3MobileNetV224作为主干网络的模型性能。如表2所示,ShuffleNetV2为主干网络时的AP分别比Res-50、Re s Ne St-50 和MobileNetV2提高1.96、3.87、3.16 个百分点,检测速度分

35、别提高5.14、4.19、3.0 5f/s;参数量分别比Res-50、Re s Ne St-50和MobileNetV2减少3.5410、3.7 410 7、9.8 10 5,浮点运算量分别少5.36 10 6.6 310、1.6 0 10%。ShuffleNetV2为主干网络时,AP最高,浮点运算量与参数量最小,检测速度最快,说明ShuffleNetV2能在保持与更大网络相同精度的前提下,还能有更小的模型体积和浮点运算量。且对比同为轻量化网络的MobileNetV2,同样有更出色的性能与速度表2不同主干网络性能比较Tab.2Comparison of different backbones平

36、均精度/浮点运速度/主干网络参数量%算量(fs)Res-5086.115.51 1093.67 1075.73ResNeSt-5084.206.78 1093.871076.68MobileNetV284.913.101082.291067.82ShuffleNetV288.071.501081.31 10610.873.3不同检测头性能比较为了评估不同检测头对模型性能的影响,保持ShuffleNetV2为主干网络,对比测试了以热力图为检测头的模型。其结果如表3所示,SimCC作检测头时比以热力图作为检测头时的AP提高2.0 3个百分点,检测速度提高3.97 f/s;参数量减少6.2 410,

37、浮点运算量减少1.2 2 10。此外,在SimCC检测头的浮点运算量为310,参数量为5.6 104,相较于整体模型,其浮点运算量与参数量可忽略不计。而基于热力图的检测头的浮点运算量为1.2410,在整个模型中占比为90.8%;参数量为6.2910,在整个模型中占比为8 3.3%,基于热力图的检测头占据了网络大部分的浮点运算量与参数量,导致模型检测速度较低表3不同检测头的性能比较Tab.3Comparison with Heatmap-based method平均精度/浮点运速度/检测头参数量%算量(fs)Heatmap86.041.371097.551066.90SimCC88.071.50

38、 1081.31 10610.87如图8 所示,热力图表征图像中每一个关键点的概率分布。热力图由图像进行卷积和池化操作得到,需要大量的计算成本和内存开销 2 5。1。Si m CC作为检测头无需高分辨的热力图即可实现良好的检测效果,将关键点检测问题转换为分类问题从而降低了计算成本和内存开销,可大幅提高模型的计算速度。图8热力图表征Fig.8Heatmaprepresentation3.4基于ST-GCN的奶牛动作识别应用为了验证SimCC-ShuffleNetV2的有效性,将模型用于奶牛运动视频中提取出骨架序列,并送人ST-GCN网络以实现动作识别。人工筛选了40 0 段视频作为动作识别的数据

39、,每段时长约为(10 4)s,如图9所示,动作行为包含躺卧、站立、行走、跛行(每种动作10 0 段视频)。(a)站立(b)行走(c)躺卧(d)跛行图9不同动作行为Fig.9Differentactions如图10 所示,STG C N是基于骨架序列的动作识别方法,其中Attention(Sp a t i a l a t t e n t i o n)为空间注意力机制,GCN(G r a p h c o n v o l u t i o n a l n e t w o r k)为图卷积网络,TCN(T e m p o r a l c o n v o l u t i o n a l n e t w o

40、 r k)为时间卷积网络。该模型使用图卷积神经网络处理骨架视频序列,然后使用CNN提取特征,最后通过分类器选取具有最高概率的类别。分类准确率是衡量ST-GCN效果的主要指标,即正确预测视频样本占视频样本总数的百分比。如图11所示,动作分类结果标示在视频左上下转第36 3页)281宋怀波等:基于SimCC第10 期ShuffleNetV2的轻量化奶牛关键点检测方法AttentionGCNTCNST-CCNST-CCNST-GCNBNPoolFCBlockBlock图10ST-GCN结构Fig.10Structure of ST-GCN(a)站立(b)行走(c)躺卧(d)跛行图11动作识别效果Fi

41、g.11Actiondetectioneffects角,ST-GCN能对不同的动作进行有效的区分。同时SimCCSh u f f le Ne t V 2 提取的骨架序列送人训练后,ST-GCN在测试集上的分类准确率为8 4.56%。表明SimCC一ShuffleNetV2能良好地表征奶牛的姿态以供ST-GCN网络学习。4结论(1)Sh u f f l e Ne t V2 作为轻量化网络,其特有结构能保持与大模型相当精度的同时更加轻量,有利于实现高效的特征提取,更加适合于实际应用场景。(2)Si m CC将关键点检测问题转换为分类问题,从而降低了问题的复杂度,更加简单和高效。相较于基于回归的方式

42、,模型精度更高;相较于基于热力图的方式,模型能在保持相当精度的情况下更加轻量。(3)ST-G CN的分类准确率达到了8 4.56%,表明SimCC-ShuffleNetV2是良好的关键点提取器,在动作识别任务中有良好的应用前景。参考文献1POURSABERI A,BAHR C,PLUK A,et al.Real-time automatic lameness detection based on back posture extraction in dairycattle:shape analysis of cow with image processing techniquesJ.Compu

43、ters and Electronics in Agriculture,2010,74(1):110-119.2宋怀波,李振宇,吕帅朝,等基于部分亲和场的行走奶牛骨架提取模型J农业机械学报,2 0 2 0,51(8):2 0 3-2 13.SONG Huaibo,LI Zhenyu,LU Shuaichao,et al.Skeleton extraction model of walking dairy cows based on partial affinity fieldJ.Transactions of the Chinese Society for Agricultural Machi

44、nery,2020,51(8):203-213.(in Chinese)3邓益依,罗健欣,金凤林。基于深度学习的人体姿态估计方法综述J计算机工程与应用,2 0 19,55(19):2 2-42.DENG Yinong,LUO Jianxin,JIN Fenglin.Overview of human pose estimation methods based on deep learningJJ.ComputerEngineering and Applications,2019,55(19):22-42.(in Chinese)4JIA N,KOOTSTRA G,KOERKAMP P G,et

45、 al.Segmentation of body parts of cows in RGB-depth images based on templatematchingJ.Computers and Electronics in Agriculture,2021,180:105897.5INSAFUTDINOV E,PISHCHULIN L,ANDRES B,et al.Deepercut:a deeper,stronger,and faster multi-person poseestimation model C/Computer Vision-ECCV 2016.Springer Int

46、ernational Publishing,2016:34-50.6NEWELL A,YANG K,DENG J.Stacked hourglass networks for human pose estimationCJ/Computer Vision-ECCV 2016.Springer International Publishing,2016:483-499.7TOSHEV A,SZEGEDY C.DeepPose:human pose estimation via deep neural networks CJ/Proceedings of the IEEEConference on

47、 Computer Vision and Pattern Recognition,2014:1653-1660.8CAO Z,SIMON T,WEI S E,et al.Realtime multi-person 2D pose estimation using part affinity fieldsCJ/Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition,2017:7291-7299.9SUN K,XIAO B,LIU D,et al.Deep high-resolution repres

48、entation learning for human pose estimation C/Proceedings ofthe IEEE/CVF Conference on Computer Vision and Pattern Recognition,2019:5693-5703.10RUSSELLO H,RIK V,KOOTSTRA G.T-LEAP:occlusion-robust pose estimation of walking cows using temporal informationJ.Computers and Electronics in Agriculture,202

49、1,192:106559.11LI C,LEE G H.From synthetic to real:unsupervised domain adaptation for animal pose estimation C/Proceedings of theIEEE/CVF Conference on Computer Vision and Pattern Recognition,2021:1482-1491.12赵宇亮,曾繁国,贾楠,等.基于DeepLabCut算法的猪只体尺快速测量方法研究 J.农业机械学报,2 0 2 3,54(2):2 49-2 55.ZHAO Yuliang,ZENG

50、 Fanguo,JIA Nan,et al.Rapid measurements of pig body size based on DeepLabCut algorithmJ.Transactions of the Chinese Society for Agricultural Machinery,2023,54(2):249-255.(in Chinese)13LI Z,SONG L,DUAN Y,et al.Basic motion behaviour recognition of dairy cows based on skeleton and hybrid convolutiona

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        获赠5币

©2010-2024 宁波自信网络信息技术有限公司  版权所有

客服电话:4008-655-100  投诉/维权电话:4009-655-100

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :gzh.png    weibo.png    LOFTER.png 

客服