基于YOLOPose的人体姿态估计轻量级网络.pdf

第卷 第期 年 月沈 阳 理 工 大 学 学 报 收稿日期:基金项目:辽宁省自然科学基金指导计划项目()作者简介:王红霞()女教授博士研究方向为人工智能与云计算、物联网与网络技术文章编号:()基于 的人体姿态估计轻量级网络王红霞李枝峻顾 鹏(沈阳理工大学 信息科学与工程学院沈阳)摘 要:为解决人体姿态估计模型在提升预测精度时参数量和计算量增多导致模型运行效率低下的问题在 模型基础上设计出一种轻量级人体姿态估计网络 选择轻量级 网络重新构建骨干网络保持特征丰富性同时加快特征提取速度调整特征融合层通道数并添加 注意力机制进行跨通道交互实现模型轻量化与准确度的平衡引用 损失函数降低几何因素的惩罚增强模型的鲁棒性和泛化能力 实验结果显示在 数据集上改进后模型对比原始 模型在保持一定准确度的情况下模型参数量和计算量分别降低.和.有效降低了模型运算复杂度关 键 词:人体姿态估计 注意力机制中图分类号:.文献标志码:./.():.:人体姿态估计是计算机视觉领域中对图片中人体关键点进行定位在视频监控、智能驾驶等领域有着重要作用随着神经网络的迅猛发展基于深度学习的多人姿态估计网络通常分为由下至上和由上至下两类 年 等提出了一种由下至上的 网络该网络在 网络末端添加了一个高效反卷积模块并采用了多分辨率训练以及热图聚合策略从而有效地解决了小人物关键定位不准确的问题 年 等提出了解耦关键点回归()网络通过多个并行分支结构对每个关键点独立进行特征提取和回归实现了关键点之间的解耦 同年 等对 网络进行改进并提出了 网络该网络将多分辨率并行设计以及局部窗口自注意力引入 并在前馈神经网络中添加卷积操作有效实现了断开连接的图像窗口之间的信息交换 此外 等提出了一种名为 的模型该模型将变换神经网络引入人体姿态估计能够捕获人体各部位的全局空间依赖关系提高了模型识别准确度上述人体姿态估计网络虽提升了关键点定位准确度但同时模型参数量或计算量也随之增加致使模型运行效率低下无法有效作用于实时性设备 因此本文重点研究如何使模型在具有较高关键点定位准确度的前提下有效减少模型参数量和计算量 模型改进是一种无热度图端到端单阶段的联合检测方法 与自上而下方法相比该模型不需要通过目标检测算法以及单人姿态估计网络进行关键点定位也不同于基于热度图的自下而上方法其关键点后处理与多个前向传播被取消 该模型在一次前向传播中联合检测出多人边框以及相应人体关键点每个人体边框都对应一个人体姿态从而形成单人关键点的固有分组因此本文选择 模型并进行如下改进)选择轻量级 网络作为骨干网络加快特征提取速度)使用损失函数 评估网络边框损失)添加 高效通道注意力机制保证网络识别准确度.改进网络总体架构本文对原始 模型具体做出如下改进 为实现特征提取网络轻量化本文删除了原始 模型骨干网络最后一个 模块将删除了最后一层池化以及三个二维 卷积的轻量级 网络作为新的骨干网络保留了原始模型中特征提取网络的空间金字塔池化()层 随后将不同尺度输出特征经过上采样输入到特征融合层中 为进一步减少模型参数量本文将特征融合层的卷积与 模块通道数由 、分别对应调整为、同时为保持识别准确度在特征金字塔()结构的上采样以及金字塔注意力()结构的卷积模块之前添加了 注意力机制最后为更好评估模型性能本文使用 损失函数替换原有 边框损失函数 其改进后总体网络架构如图 所示.骨干网络改进原始 模型使用 骨干网络其首先会通过对输入图片进行切片操作其次使用 个卷积及 模块对输入特征进行不同尺度特征提取其中 模块由 个卷积模块与 个残差块 组成 模块将输入特征映射为两部分并通过跨阶段层次使用通道拼接操作进行合并 最后 对输入特征进行一次卷积后分别经过 、以及 的池化并将不同池化输出特征与卷积输出特征进行通道拼接综上可知 骨干网络主要由、和 模块构成带来了较大计算量特征提取速度较慢 因此本文选择轻量级 网络替换原有骨干网络使得模型轻量化的同时保证网络的特征提取能力有 与 两个版本本文将 作为新的骨干网络其具体原理如下 首先 网络将 模块作为基本单元进行神经网络搜索使得不同模块具有不同的宏观结构并使用 算法对结构进行微调减小了扩充层与每层的大小第 期 王红霞等:基于 的人体姿态估计轻量级网络图 改进后总体网络架构图.图 的 单元.模块结构如图 所示 其次网络加入了 注意力机制结构如图 所示图中、分别为输入特征、卷积操作的结果特征、通道赋权操作的结果特征、分别代表输入特征宽、高与通道数、则表示卷积操作之后的特征宽、高与通道数图中 为一系列卷积操作()表示全局平均池化操作()是指非线性变换操作()代表通道赋权操作 注意力机制首先对输入特征进行卷积与全局平均池化操作然后将尺寸为()的向量输入激活函数分别为 与 的两个全连接层最后与输入特征进行相乘操作使得特征图在通道数不变的情况下每个通道具备不同的权重并让其值保持在区间图 注意力模块.最后 基于 函数重新设计出 瓶颈残差激活函数 函数与 函数分别为()()()()()()并使用 函数取代 结构原有 函数消除指数运算对模型运算速度的影响 函数和 函数分别为()()()()().特征融合网络改进随着神经网络的层次加深提取到的特征语义信息越加丰富但特征位置信息也会逐渐丢失 采取 与 来解决此问题 首先将输入特征图送入 结构经过卷积和上采样操作随后与骨干网络不同尺度输出特征进行融合并送入 模块反复迭代使其深层特征图包含更强的位置信息最后 结构通过下采样加强特征图语义信息并融合两个特征使不同尺度特征图充分保留了语义与位置信息 在 原有特征融合结构基础上加深了一层但增强特征融合能力的同时模型计算量和参数量也随之增多 因此本文对特征融合层卷积通道数做出调整并添加 注意力机制保证模型的识别精度 注意力机沈 阳 理 工 大 学 学 报 第 卷制是一种改进的 网络其在 基础上提出了无降维局部交叉信道交互策略结构如图 所示图中 为自适应一维卷积核大小 表示激活函数图 注意力模块.将原有 中全连接层替换成一维卷积在避免维度缩减的同时捕获部分通道信息减少了模型参数具体原理如下 首先对输入特征进行全局平均池化其次通过自适应大小为 的一维卷积及 激活函数得到通道权重并与输入特征进行通道相乘操作得到加权后的特征图决定 值自适应大小函数形式为 ()()()式中:为自适应一维卷积核大小 和 决定了 与 的比例 值设置为 值为 表示取奇数操作.损失函数替换 损失包括边框、关键点位置以及置信度损失其总损失公式为()()式中:为对象分割区域平方根 分别代表真实边框横纵坐标 表示 尺度的第 个锚框、分别代表总损失、边框损失、关键点位置损失以及关键点置信度损失、表示不同损失权重默认值为.边框损失 采取 损失函数评估边框损失 损失函数公式形式为 ()()式中:分别代表预测及真实边框坐标 是预测与真实框中心点欧式距离 为包含预测和真实框的最小框对角线长度 表示预测框与真实框交并比 为权重函数 为长宽比相似性度量.关键点位置以及置信度损失人体关键点标签为预测结果为其中 为标签及预测关键点序号分别代表第 个关键点横轴、纵轴坐标为第 个关键点标签可见性标志 表示未标记 表示标记被遮挡 表示标记未遮挡为第 个关键点的预测置信度 关键点损失包括位置损失以及置信度损失基于热度图的自底向上人体姿态估计网络使用的 损失函数未考虑目标尺度与关键点类型对损失的影响无法有效评估关键点损失 而关键点相似度()损失预测关键点和真实关键点的接近程度是一个与 损失类似的相似性度量尺度不变且不会造成梯度消失更适用于估计关键点损失 损失值介于 和 之间计算公式为 ()式中:表示第 个关键点表示第 个真实与预测关键点欧式距离是指第 个关键点权重 置信度损失是基于可见性标志进行训练的可见性标志大于 的关键点标签置信度记为反之为 其计算公式为()()式中 表示二分类交叉熵损失函数.损失数据集中低质量图片会加重 损失函数对锚框中心点距离以及纵横比的惩罚从而降低模型的泛化能力 针对此问题本文删除了原有 边框损失函数并引入新的 函数评估边框损失 损失函数计算公式为()()式中:为调节因子 值越大代表模型在低质量图片上的聚焦度更高为单调聚焦系数表示单调聚焦系数为非零自然数为归一化因子表示基于距离度量构建出的具有两层第 期 王红霞等:基于 的人体姿态估计轻量级网络注意力机制的 损失函数 函数能够在 值较大时降低对几何距离的惩罚公式为()式中:为交并比损失函数的作用是放大普通质量锚框的 损失函数是基于 损失函数的交叉熵单调聚焦机制所构建的单调聚焦系数与 损失函数所提出的 函数不仅继承了 损失函数的优点且引入了归一化因子均值解决了 损失函数在训练过程中因单调聚焦系数减小而导致后期收敛速度慢的问题从而能够更好地评估边框损失 实验与分析.实验数据和环境本文所有实验均基于表 环境运行 采用公共 数据集该数据集存在严重的人体遮挡以及复杂背景是多人姿态识别领域最具挑战性的数据集之一包含 张图片标注人体姿态实例 个 训练前使用、等方式进行数据增强设置初始学习率为.预热学习率为.批次大小为 训练轮数为 采用平均准确度、参数量及运算量对模型性能进行评价表 实验环境 名称相关配置操作系统.内存 ()软件环境.加速库.消融实验为比较不同方法对模型性能的影响进行消融实验所有实验输入图片尺寸均为 实验参数与环境保持一致实验结果见表 表 消融实验结果对比 实验序列/参数量/.首先由表 中实验 和实验 的对比结果可知在采用轻量级骨干网络 并减少特征融合层通道数的情况下模型的准确度小幅下降但模型参数量和计算量分别下降了.和.其次实验 和实验 的结果表明添加 注意力机制以及 损失函数后模型识别准确度变化不大但并未引起参数量和计算量增多从实验 的结果看在实验 基础上单独加入 注意力机制能够使预测准确度提升.实验 的结果显示与加入 注意力机制相比引入 损失对轻量化模型识别准确度提升尤为明显其准确度上升了.最后将 注意力机制与 损失函数同时加入轻量化模型结果如实验 所示模型预测准确度相比实验 和 有了更大的提高消融实验数据表明优化之后的模型在保持较高准确度的同时参数量和计算量均有明显降低模型运行效率得到了有效提升.对比实验本文在 数据集上对 沈 阳 理 工 大 学 学 报 第 卷和本文提出的 模型进行了测试 并 与、模型进行了比较 其中、为自上而下的方 法 而、采用由下至上的方法对比结果见表 实验结果表明相比目前主流的姿态估计模型 本文提出的 模型不仅在 和 分别高.和.而且参数量和计算量分别减少.和.与 模型相比本文模型的预测精度有所下降但网络模型参数量和计算量分别减少.和.同时对比 模型本文模型在预测精度 上减少.但在 上获得了.的精度增长参数量和计算量降低.与.此外虽然自上而下的 模型在 上比本文模型更具竞争力但本文模型在 上仅下降.且参数量和计算量降低了.和.算法运算效率更高 最后本文 对比原始 模型在精度 下降.、降低.的情况下参数量和计算量分别减少了.和.综上可得本文提出的 模型对比原始 模型性价比更高且在保持一定准确度的情况下模型参数量和计算量大幅低于目前主流的自下而上和自上而下方法有效降低了模型参数量和运算复杂度表 不同算法结果对比 模型序列检测模型/参数量/.效果展示为验证改进后模型性能本文对预测结果进行了可视化 图 和图 分别是部分图片标签及预测结果两组图片分别包含单人、双人以及多人且存在人体遮挡、部位缺失等特点 从图 中可见单人标签的 个关键点能预测出来且构成了一副完整的人体骨骼边框置信度达.其次虽然图 双人图片存在人体遮挡但改进后的模型也能够比较准确地预测出遮挡关键点边框置信度分别为.和.图 第三张图片背景为街道且存在人群拥挤关键点遮挡人体部位缺失等特点预测结果如图 第三张图片所示改进后模型不仅预测出小女孩的关键点与身后被遮挡男子的关键点且对于缺失人体部分模型也识别出存在部位关键点并进行了连接 通过可视化分析可知改进后模型在大幅降低参数量和计算量后对多人姿态估计依然有着较好的识别效果图 不同场景标签图.图 不同场景预测结果图.第 期 王红霞等:基于 的人体姿态估计轻量级网络 结论针对目前人体姿态估计方法为提升模型准确度导致模型深度加深从而使模型参数量与计算量增多、模型运行效率低下的问题给出了一系列的改进方案 本文使用 将骨干网络轻量化调整通道数并引入 高效注意力机制同时采用了 损失函数评估模型损失 实验表明对比原始模型以及其他多人姿态估计方法本文 模型参数量和计算量明显减少同时保证了一定的模型识别准确度具备较强的泛化性和鲁棒性更易作用于实时性设备参考文献():.:/().:./().:.:/.:.:/./.:/().:.:/().:.张上陈益方王申涛等.基于 的改进舰船目标检测算法/.电光与控制:.:/././.:.:/./.()./.:.:/().:.赵宏冯宇博.一种基于 的交通标志检测研究/.计算机工程:././././.:./././.().:/.:.:/./.:.:/.:.:/./.(责任编辑:和晓军)沈 阳 理 工 大 学 学 报 第 卷