ECA_SB：一种轻量级人体骨架点提取网络.pdf

453第40 卷第6 期2023年6 月真机仿算文章编号：10 0 6-9 348(2 0 2 3)0 6-0 453-0 6ECA_SB：一种轻量级人体骨架点提取网络闫河，刘继红，莫佳迪，刘伦宇（重庆理工大学两江人工智能学院，重庆40 1135）摘要：SB（Si mp l e Ba s e l i n e）网络提取人体骨架点具有较高精度，但SB网络存在参数量和计算量大、学习效率低的问题，限制了其部署和应用。通过设置SB网络中Bottleneck组件的expansion参数为1,在Bottleneck组件的最后一个卷积层后引人一个高效通道注意力（efficientchannel attention,ECA）模块，并设置ResNet骨干网络的最后三个Bottleneck的卷积步长为1，采用反卷积组代替ResNet之后的转置卷积，从而提出一种轻量级的人体骨架点提取网络：ECA_SB。在COCO2017数据集上的对比实验结果表明，ECA_SB网络在保留较高人体骨架点提取精度的同时，参数量和计算量均有明显降低。关键词：人体骨架点提取；注意力模块；反卷积中图分类号：TP391.4文献标识码：BECA_SB:A Lightweight Human Skeleton Point Extraction NetworkYAN He,LIU Ji-hong,MO Jia-di,LIU Lun-yu(School of Artificial Intelligence,Chongqing University of Technology,Chongqing 401135,China)ABSTRACT:Simple Baseline(SB)network can extract human skeleton points with high accuracy.However,the SBnetworks have some problems such as large number of parameters,large amount of computation and low learning effi-ciency,which limit its deployment and application.This paper adjusted the expansion parameter of the Bottleneckcomponent in the SB network to 1,introduced an efficient channel attention(ECA)module after the last convolutionallayer of the Bottleneck component,and set the convolutional stride of the last three Bottleneck blocks for its ResNetbackbone network to 1.Moreover,the transposed convolution after ResNet was replaced by the deconvolution group.Therefore,a lightweight human skeleton point extraction network,ECA_SB,was proposed.The comparative experimen-tal results on the COCO2017 data set show that the ECA_SB network retains a high human skeleton point extractionaccuracy,while the amount of parameters and calculations are significantly reduced.KEYWORDS:Human skeleton point extraction;ECA module;Deconvolution1引言人体骨架点提取是行为识别与人机交互中常涉及的一项子任务，让人体骨架点提取网络保持高精度的同时变得更轻量对于部署和使用就显得尤为重要。当前人体骨架点提取方法中表现较好的有文献1 提出的Alphapose网络架构，该网络由对称空间变换网络SSTN、参数姿势非大值抑制NMS和姿势引导建议发生器PGPG三部分组成，其中SSTN基金项目：国家重点研发计划“智能机器人”重点专项项目（2 0 18 YFB130 8 6 0 2）；国家自然科学基金面上项目（6 117 318 4）；重庆市自然科学基金项目（cstc2018jcyjAX0694）；重庆理工大学研究生创新项目（clgycx20202119)收稿日期：2 0 2 1-10-2 8修回日期：2 0 2 1-11-0 9用于得到高质量的单人人体区域，NMS用以解决同时出现多个检测框的问题,PGPG通过生成相似的训练样本来增强数据，虽然Alphapose已经取得了不错的效果，但是其参数量和计算量都非常庞大。除此之外，还有Face+提出的一种金字塔型的串接模型，即CPN(cascaded pyramidnetwork）2 ,这个模型能够同时兼顾人体全局信息以及关节点的局部信息，在COCO数据集上也取得了不错的准确率，但这个网络结构同样复杂且庞大。文献3 提出的高分辨率网络（HRNet）相比其它人体骨架点提取网络得到了更好的提取精度，HRNet摒弃了以往常规网络所用的串联方式，它采用并联的方式将不同分辨率子网按照分辨率从高到底的方式并行连接，实现了多尺度融合且能有效利用特征信息，但HRNet同样没有顾及到减小参数量和所需的计算量。另外，微软提出的SimpleBaseline(SB）【4 从结构上来说是一种极其简单的人体骨架点提取网络，在一个ResNet后面接上三个转置卷积层，骨架454点提取准确率非常高，但由于其Bottleneck的expansion参数为4,就必须对Bottleneck中的最后一个特征图的通道做扩展,这就使得其参数量和计算量相比在它之前出现的网络来说也并不小。文献5 为了减少SB的参数量与计算量,对其网络进行了重新设计，修改Bottleneck的expansion为1同时添加了CCBlock注意力模块，并将Bottleneck第二层的标准卷积换为深度可分离卷积，使用修改后的Bottleneck替换下采样阶段的基础组件Bottleneck，同时在上采样阶段也选择轻量级的反卷积组替换掉三个转置卷积层，文献5 提出的改进模型，虽然参数量与计算量仅为SB的1/30 左右，但由于网络被过度简化，其在COCO数据集上的精度下降了大约2个百分点。本文致力于探讨如何在保证人体骨架点提取精度的同时有效降低网络模型参数量和计算量。拟通过在Bottleneck基础组件最后一个卷积层之后加人ECA注意力模块，调整Bottleneck基础组件的参数expansion为1，修改ResNet骨干网络倒数第三个Bottleneck基础组件的卷积步长为1，使用反卷积组替换掉原网络后面接着的转置卷积层，以实现减少原SB网络模型的参数量和计算量，并保证较高的人体骨架点提取精度。2ECA_SB：一种轻量级人体骨架点提取网络2.1SimpleBaseline(SB)网络模型SB的网络结构较为简易，如图1，主要由骨干网络和head network两部分组成，其中骨干网络为ResNet6,headnetwork则为一些转置卷积层。在ResNet的基础上，去掉最后的特征输出层；在后面接上3个反卷积模块，每个模块依次为反卷积层、批归一化和relu激活函数，其中反卷积参数为：2 56 通道，44的卷积核，步长为2，填充值为1；最后添加一个1x1的卷积层,以对所有的关键点生成预测热力图。2.2融合ECA注意力模块的网络结构本文在ResNet的Bottleneck最后一层卷积后添加ECAResNetTransposeconvolutionL2Loss图1SB整体网络结构注意力模块，同时修改Bottleneck的expansion为1，修改之后为ECABottleneck，然后在SB网络的基础上，使用ECABottle-neck替换掉ResNet骨干网络中的Bottleneck，再修改倒数第三个Bottleneck组件的卷积步长为1,最后使用文献5 提出的反卷积组替换掉转置卷积层，并仍然采用原论文使用的平方误差损失函数。2.2.1结合ECA注意力模块注意力机制已被证实是一种增强深度卷积神经网络的潜在方法，它在图像分类识别7.8 、目标检测9 等计算机视觉方面10 都取得了非常好的效果。SE-Net!首次提出了一种有效的通道注意力学习机制，并取得了良好的性能。在这之后，人们开发的注意力模块大致可分为两个方向：增强特征聚合；通道注意力与空间注意力相结合。ECA12是一种能有效捕获跨通道交互信息的注意力，在不降低维度的情况下进行逐通道全局平均池化之后，通过考虑每个通道及其k个近邻来捕获本地跨通道信息交互；这种方法可以同时保证效率和有效性。可以通过大小为k的快速一维卷积有效实现ECA模块，其中内核大小k代表本地跨通道交互的覆盖范围，即有多少个相近邻参与一个通道的注意力预测。k值由一种自适应的方法来进行确定,其中交互作用的覆盖范围（即内核大小k）与通道维数成比例。以往的经验表明，避免降维对于学习通道注意力非常重要，并且适当的跨通道信息交互可以在保持性能的同时显著自适应选择内核大小:k=业(C)k=5XCCGAPHHWW1x1xc1x1xc图2ECA注意力模块455降低模型的复杂性。而ECA恰好通过一维卷积有效地实现了局部跨通道交互策略并无需降维，且ECA模块仅包含少量参数，就可以带来明显的性能提升。因此，在网络中加人ECA注意力模块，该模块只给原模型增加了很小的负担，却得到了比较大的精度提升。本文将ECA模块添加到ResNet网络中的bottleneck块中，修改之后的ECABottleneck模块如图3所示，依次经过一个11、33和11卷积核尺寸大小卷积操作之后，再经过ECA注意力模块。2.2.2轻量级ECABottleneckexpansion是一个超参数，用来控制在resnet网络中是否对残差连接的通道做扩展，原论文中expansion取值为4，即是将残差连接的输出通道数扩展为输人通道数的四倍，本文将其修改为1，以不对残差连接的通道做扩展，以此来降低网络的参数量和计算量。expansion=lN-d1x1 conv,Mbn+reluStandard33conv,Mbn+relu1x1conv,NbnECArelu图3ECABottleneck模块如图3所示，一个bottleneckblock由三个卷积层和一个短路连接组成，一个标准卷积层的参数DkD.Cin Co(1)out其中,Dk是卷积核的大小,C,是输人的通道数,Cout是输出的通道数，由此得出一个标准bottleneckblock的参数为11NM+33MM+11MN(2)一般情况下，对于一个bottleneckblock来说，输人通道数和输出通道数是相等的，也就是说N=Mxexpansion,bottle-neck block默认的expansion值为4,因此，一个bottleneckblock的参数可以简化为17MM(3)为了降低整个人体骨架点提取网络的模型复杂度。受文献5 的启发，本文也将expansion由4调整为1,如图4所示，此时的N=Mxexpansion=M，一个bottleneckblock的参数就为11 MM(4)通过这种方法，有效降低了网络模型的参数量和计算量。3实验结果与分析3.1实验平台所有的实验都是在基于Windows10操作系统的服务器上完成的，该服务器由18 核心36 线程3.0 9 CHz的CPU和2个NVIDIAQuadroRTX8000GPU组成。采用COCO2017人体骨架点提取数据集来训练和测试，并将结果与原论文结果进行对比。全部代码均采用Python编程语言实现，训练的批处理大小（batchsize)设置为32，学习率设为10 4,选择的优化器为Adam，损失函数为均方误差，训练轮数为140。3.2数据准备下载 MS COCO(Microsoft Common Objects in Context)13官网的数据集，MSCOCO数据集是用于多人关键点训练和测试的主流数据集；该数据集标注了17 个人体关键点，包含了2 万多张图像共计2 万5千多个带有标签的个人样本用于人体骨架点提取。其中COCO数据集公开了15万多个实例用于训练和验证，本实验同样在MSCOCO2017公开数据集上进行训练与验证；训练集提供了118 2 8 7 张图片共149813个人体样本，验证集提供了50 0 0 张图像共6 352 个人体样本用于人体骨架点提取。MSCOCO数据集的标注数据对应情况为：0-鼻子，1-左眼，2-右眼，3-左耳,4-右耳,5-左肩关节，6-右肩关节，7-左手肘关节，8-右手肘关节，9-左手腕，10-右手腕，11-左臀，12-右臀，13-左膝盖，14-右膝盖，15-左脚踝，16-右脚踝。其中脖子关键点并未标记，可由左肩和右肩的关节点坐标计算得出。3.3验证标准OKS本文的实验验证同样在COCO2017数据集上进行，与文献14 相似,本文也同样采用MSCOCO官方给定的关键点相似性(OKS)进行评估,OKS的计算公式为Ze4/24f(0:0)OKS(5)Z8(0:0)其中是d，标注点和预测关节点位置之间的欧氏距离，sk；为标准差，,是指能否观察到真实的人体关键点，；大于0 表示能观察到，小于0 表示观察不到。每个关节点的相似度都会在落在0,1 之间,完美的预测将会得到OKS=1,预测值与真实值差距太大将会得到OKS无限趋于0。本文采用平均准确率和召回率来呈现人体关键点检测结果，在COCO数据集评价指标中，所有的AP默认为mAP，AP.5表示当OKS=0.50时的检测准确度，AP.75表示当OKS=0.75时的检测准确度，AP是指在OKS分别取0.50、0.55、0.9 0、0.9 5这10 个值的平均检测准确度，AP（M）表示中型尺度目标的平均准确率,AP(L)表示大型尺度目标的平均准确率，AR表示在0 KS分别取0.50 0.55、0.9 0、0.9 5这45610个值的平均召回率3.4实验验证分析本文研究了所提方法每个部分对精度提升的影响，即消融实验15,包括ECA模块和expansion参数的调整。对于ECA模块的验证，本文分别设计了包含ECA模块和不包含ECA模块的网络，分别进行训练，其它参数均保持一致且都未使用预训练模型。对应的网络训练结束后，其对应的精度、参数量和计算量对比如表1,可以看到，ECA模块对骨架点提取精度的提升效果显著，对于以ResNet50、Re s Ne t 10 1和ResNet152为骨干网络的骨架点提取结果中，加人ECA模块使得网络对于人体骨架点的提取准确率分别提升了2.1%、1.0%和0.8%。这说明ECA模块提升了网络对于人体关键点的提取精度；此外，加入ECA模块后，网络的参数和FLOPs16（f l a t i n g-p o i n t o p e r a t i o n s）只增加了一点点,这说明ECA模块对于整个网络的负担来说非常的小。表1本文方法的注意力模块分解实验对比方法BackBoneECA输入大小参数FLOPsAPAP.5ARECA_SBResNet-50无256192139296813.45187G68.589.571.8ECA_SBResNet-50有256192139297293.45334G70.691.473.8ECA_SBResNet-101无256x192262110255.64794G70.290.573.6ECA_SBResNet-101有256192262111245.65021G71.291.474.4ECA_SBResNet-152无256192363266097.84511G70.890.474.3ECA_SBResNet-152有256x192363267597.84836G71.691.574.9对于expansion参数取值的验证，本文分别对expansion取值为1和取值为4时的网络进行了训练，其它参数均保持一致且都未使用预训练模型。对应的网络训练结束后,其对应的精度、参数量和计算量对比如表2，可以看到，把expansion的参数从4修改为1,对于以ResNet50、Re s Ne t 10 1和ResNet152为骨干网络的结果中，其参数量和计算量减小了将近一半，而准确率仅仅下降了1.6%、0.9%、1.1%，这说明修改expansion的参数为1可以有效降低整个网络的参数量和计算量。通过对原网络进行改良和优化，在COCOval2017上进行实验验证，实验结果如表3所示，添加注意力机制后，修改ECAbottleneck的expansion为1，并修改向下卷积最后一层的stride为1,训练图像输人大小为2 56 19 2，分别以ResNet50、ResNet101、Re s Ne t 152 为骨干网络进行训练，本文方法相对于SB原网络的准确率几乎没有下降，且本文的参数和计算量都有了大幅度的减小。表2 本本文方法的expansion取值实验对比方法BackBoneexpansion输入大小参数FLOPsAPAP.5ARECA_SBResNet-504256192236237075.80144G72.291.675.3ECA_SBResNet-501256192139297293.45334G70.691.473.8ECA_SBResNet-1014256192426129169.20067G72.191.575.4ECA_SBResNet-1011256192262111245.65021G71.291.474.4ECA_SBResNet-1524256x1925825661512.60283G72.791.575.9ECA_SBResNet-1521256192363267597.84836G71.691.574.9表3转输入图像大小为2 56 19 2 时在coc02017验证集的准确率、参数量与计算量对比，M=10%,G=230方法骨干网络输人大小参数量FIOPsAPAP.5AP.75AP(M)AP(L)ARRMPE1PyraNet32025628.1M26.7G72.389.279.168.078.6一CPN2ResNet-Inception384288一一72.191.480.068.777.278.5HRNet-W323HRNet-W3238428828.5M16.0G74.992.582.871.380.980.1HRNet-W483HRNet-W4838428863.6M32.9G75.592.583.371.981.580.5SB4ResNet-5025619234.0M8.9G70.488.678.367.177.076.3SB4ResNet-10125619253.0M12.4G71.489.379.368.178.177.1SB4ResNet-15225619268.6M15.7G72.089.379.868.778.977.8LPN5ResNet-502561922.9M1.0G68.790.276.965.974.374.5LPN5ResNet-1012561925.3M1.4G70.090.878.467.275.475.7457方法骨干网络输人大小参数量FIOPsAPAP.5AP.75AP(M)AP(L)ARLPN5ResNet-1522561927.4M1.8G70.491.078.967.776.076.2ECA_SBResNet-5025619213.9M3.45G70.691.478.468.274.673.8ECA_SBResNet-10125619226.2M5.65G71.291.479.268.475.374.4ECA_SBResNet-152256x19236.3M7.85G71.691.579.368.975.874.9通过实验对比可知，在对SB网络添加注意力及一系列参数修改之后，相比于原网络，本文方法的参数量和计算量几乎减半，且本文方法对于人体关键点的估计精度对比原网络只有微小波动。(a）上半身有遮挡(b）光线阴暗(c）多人拥挤场景下(d）高难度姿态下图4名各种场景下的人体关键点估计效果3.5可视化实验分析使用训练好的网络模型，以ResNet50为骨干网络对验证集图片进行关键点的估计，结果展示图如图4，输人的原图像大小均调整为2 56 19 2。其中图（a）展示的是人体上半身遮挡情况下的关键点估计结果，图（b）为光线阴暗且存在遮挡情况下的结果,图（c)为在多人场景下且存在遮挡的效果展示，图（d）为在滑滑板的复杂姿态下的效果展示可以看到，在有遮挡、运动、多人和光线阴暗等复杂情况下，对于人眼可预见的人体关键点位置，本文的方法也能提取出来，从而获得准确的人体骨架点。4结束语本文在 Simple Baselines for Human Pose Estimation andTracking论文所提出的网络基础上，对骨干网路resnet的bot-tleneckblock组件进行了修改，在每个bottleneckblock组件中的最后一个卷积之后添加了注意力模块，并修改bottleneckblock的参数expansion为1,还将resnet骨干网络中倒数第三个bottleneckblock组件的卷积步长修改为1，在网络上采样部分，使用反卷积组替换掉了原来的转置卷积，有效降低了网络模型的参数量和计算量并保持了较高精度。改进之后的网络同样在COCO2017数据集上进行训练和测试，相较于原网络，准确率几乎没有变化且参数量更少。结果表明，本文方法能够有效减小网络参数并保持较高的准确率。在后续的研究中，进一步提升准确率同时减小网络的参数，仍是工作的重点。参考文献：1 Fang H S,Xie S,Tai Y W,et al.RMPE:Regional Multi-personPose Estimation C.2017 IEEE International Conference on Com-puter Vision(ICCV).New York:IEEE Press,2017:2353-2362.2Chen Y,Wang Z,Peng Y,et al.Cascaded pyramid network formulti-person pose estimation C.2018 IEEE/CVF Conference onComputer Vision and Pattern Recognition（CVPR),Ne w Yo r k:IEEEPress,2018:7103-7112.3Sun K,Xiao B,Liu D,et al.Deep High-Resolution RepresentationLearning for Human Pose EstimationC.2019 IEEE/CVF Con-ference on Computer Vision and Pattern Recognition(CVPR),IEEE,2019:5686-5696.4Bin Xiao,Haiping Wu,Yichen Wei.Simple baselines for humanpose estimation and tracking C.in Proceedings of the EuropeanConference on Computer Vision(ECCV),2018:466-481.5Zhang Z,Tang J,Wu G.Simple and Lightweight Human Pose Esti-mationJ.arXiv preprint arXiv:1911.10346,2019.6He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for im-age recognition C.In:Proceedings of the IEEE conference oncomputer vision and pattern recognition,2016:770-778.7蔡逢煌，张岳鑫，黄捷.基于YOLOv3与注意力机制的桥梁表面裂痕检测算法J.模式识别与人工智能，2 0 2 0,33（10）：926-933.8Wang F,Jiang Mq,Qian C,et al.Residual attention network for im-age classification C.in Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition,2017:3156-3164.9韩敏，林凯，张成坤.基于协同聚类和权重注意力稀疏自编码458上接第452 页）网络的变化检测方法J.控制与决策，2 0 2 1,36（10）：2 442-2450.10秦宇龙，王永雄，胡川飞，等。结合注意力与多尺度时空信息的行为识别算法J.小型微型计算机系统，2 0 2 1,42（9)：1802-1809.11Hu J,Shen L,Sun G.Squeeze-and-excitation networks C.inProceedings of the IEEE conference on computer vision andpattern recognition,2018:7132-7141.12Wang Q,Wu B,Zhu P,et al.ECA-Net:Efficient Channel Atten-tion for Deep Convolutional Neural Networks C.2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).IEEE,2020.13 Lin T Y,Maire M,Belongie S,et al.Microsoft coco:Common ob-jects in context C.Proceedings of the 2014 EuropeanConference on Computer Vision.Cham:Springer,2014:740-755.14Andriluka M,Iqbal U,Insafutdinov E,et al.PoseTrack:A Bench-mark or Human Pose Estimation and Tracking C.Proc of theIEEE/CVF Conference on Computer Vision and Pattern Recogni-tion.Washington,USA:IEEE,2018:5167-5176.接下来研究中，会引人云储存技术，改进安全态势量化的储存规模，进一步完善方法的实际应用性能，令其在现实场景中更具操作优势。参考文献：1何春蓉，朱江基于注意力机制的GRU神经网络安全态势预测方法J.系统工程与电子技术,2 0 2 1,43（1：2 58-2 6 6.2 田昕，魏国亮，王甘楠.无线传感器网络定位综述J.信息与控制,2 0 2 2,51(1):6 9-8 7.3杨宏宇，张旭高.基于自修正系数修匀法的网络安全态势预测J.通信学报,2 0 2 0,41（5）：19 6-2 0 4.4丁华东，许华虎，段然，等.基于贝叶斯方法的网络安全态势感知模型J.计算机工程,2 0 2 0,46（6）：130-135.5丁青锋，吴泽祥，刘梦霞，等.非理想CSI下全双工双向中继网络安全性能研究J.计算机工程与应用，2 0 2 0,56（19）：9 9-104.6钱开国，卜春芬，王玉见，等.基于可靠信标和节点度估计距离的无线传感器网络定位算法J.计算机应用，2 0 19,39（3）：817-823.7郭克锋，安康，臧晓尧.NOMA技术下的星地融合网络安全性能分析J.南京航空航天大学学报,2 0 2 1,53（1）：9 0-9 6.8王恒，段思，谢鑫，基于信息年龄优化的多信道无线网络调度方法J.电子与信息学报，2 0 2 2,44（2）：7 0 2-7 0 9.15Hou T,Ahmadyan A,Zhang L,et al.MobilePose:Real-TimePose Estimation for Unseen Objects with Weak Shape SupervisionJ.arXiv preprint arXiv:2003.03522,2020.16Molchanov P,Tyree S,Karras T,et al.Pruning convolutionalneural networks for resource efficient transfer learningC.InICLR,2017:1-17.作者简介闫河（19 7 2-），男（汉族），陕西勉县人，博士，教授，主要研究领域为模式识别、计算机视觉、人工智能与视觉测量等。刘继红（19 9 7-），男（汉族），四川旺苍人，硕士研究生，主要研究领域为计算机视觉。莫佳迪（19 9 7-），男（汉族），广西柳州人，硕士研究生，主要研究领域为视觉测量。刘伦宇（19 9 6-），男（汉族），江西景德镇人，硕士研究生，主要研究领域为视觉测量。9刘留，李慧婷，张嘉驰，等。基于神经网络的时变无线信道仿真J.北京交通大学学报,2 0 2 0,44（2)：7 4-8 2.10谢文平，尹禄高，陈小敏，等。塔架环境通信网络信道模型及性能研究J.信号处理，2 0 2 1,37（11：2 0 7 7-2 0 8 3.11魏特，王文浩，陈军，等.环境信息辅助的海上无线信道测量与建模J.清华大学学报（自然科学版），2 0 2 1,6 1（9）：10 0 2-1007.12 吕鹏鹏，王少影，周文芳，等.基于进化神经网络的电力信息网安全态势量化方法J.计算机科学，2 0 2 2，49（1）：58 8-593.13 唐延强，李成海，王坚，等.IGAPSO-ELM：一种网络安全态势预测模型J.电光与控制，2 0 2 2,2 9(2）：30-35.14陈龙，吕磊，杨旭东.基于改进CRITIC的灰色关联网络安全态势评估方法J.电讯技术，2 0 2 2,6 2（4：517-52 5.15 闫旭，彭其渊，殷勇，等.区域铁路运输安全态势表征与评估方法J中国安全科学学报，2 0 2 0,30（4）：33-40.作者简介徐健（19 8 1-），男（汉族），山东东平县人，工程师，主要研究领域为网络安全、物联网。冯宝龙（19 8 2-），男（汉族），河北秦皇岛人，硕士，工程师，主要研究领域为计算机应用、人工智能、食品信息学。