结合改进Alphapose...CN的人体摔倒检测模型研究_曲英伟.pdf

第 卷 第 期 年 月大连交通大学学报 文章编号：（）结合改进 和 的人体摔倒检测模型研究曲英伟，梁炜（大连交通大学 软件学院，辽宁 大连）摘 要：为改进当前人体摔倒检测方法场景适应能力弱、易误检等不足，提出了一种基于人体骨骼关键点和 结合的人体摔倒检测模型。在、等数据集上进行对比试验，试验结果表明优化后的 人体目标检测算法的平均准确率达到了，较、提高了 和。人体姿态估计算法的平均准确率达到了，优于、等方法。基于图卷积的人体摔倒检测算法准确率达到，高于 等方法。一系列的试验结果表明，所提出的摔倒检测方法具有较高的检测精度。关键词：人体摔倒检测；人体骨骼关键点；文献标识码：已有的基于计算机视觉的摔倒检测模型主要有基于传统机器视觉方法和基于深度学习方法两类。基于传统机器视觉方法提取特征易受场景、光线等因素影响，准确率较低；由于硬件突破带来的算力大幅提升，基于深度学习的方法得到高速发展。郭欣等搭建了使用注意力机制轻量化结构的深度卷积网络，并提取了骨骼关键点信息，检测摔倒行为依据视频帧间骨骼关键点的变化来判断。曹建荣等先使用 检测得到人体目标区域矩形框，将跌倒过程中的人体运动特征与卷积提取的特征融合，再进行摔倒判别，该方法比传统方法有更强的环境适应性。卫少洁等提出一种结合 和 的人体摔倒模型，主要思想是将姿态估计提取出来的人体骨骼关键点的坐标集分为 坐标集和 坐标集，将这两个坐标集分别输入长、短期记忆网络来提取时序特征，最后用一个全连接层进行分类，判断人体是否发生摔倒，但受制于 需要存储的特性，不能进行实时检测。等提出了一种基于对称性原理的意外摔倒重组的方法，通过 提取人体的骨骼关键点信息，并通过髋关节中心的下降速度、人体中心线与地面的角度、人体外部矩形的宽高比等 个关键参数来识别摔倒。本文提出一种基于改进的 结合的 人 体 摔 倒 检 测 模 型，该 模 型 采 用结合 对出现在视频中的人体目标进行跟踪，检测得到每一帧的目标检测框，将目标检测框所框定的部分送入改进后的 进行推理，得到人体骨骼关键点信息。将得到的骨骼点 以 图 信 息 的 形 式 传 入 图 卷 积 神 经 网 络（）进行图卷积，将图卷积后的张量传入 层进行分类，实现人体摔倒检测。采用 与图卷积相结合的方法，很好地避免了对视频环境的依赖，本模型在公开数据集上与多个模型进行了对比试验，结果表明本模型具有较高的检测准确率和较低的场景依赖性。模型总体架构 本模型主要由人体目标检测（）、人体目标跟踪（）、人体姿态估计（）、人体行为识别（）组成，见图。收稿日期：基金项目：国家自然科学基金资助项目（）第一作者：曲英伟（），女，副教授。：通信作者：梁炜（），男，硕士研究生。：大连交通大学学报第 卷图 摔倒检测模型架构 人体目标检测网络结构及优化 本模型目标检测部分使用 轻量化网络模型，旨在快速得到人体目标检测框信息、置信度得分以及分类信息。经过阅读源码发现，中使用的 激活函数具有很强的非线性能力，而 是 在 时的情况，其计算公式为：()（）（）式（）保持了 的优势，在 时不存在梯度消失的问题，与此同时也不存在 时轻易死亡的问题，但有计算量较大的缺陷，相比之下，激活函数的计算简单而高效。的计算公式为：（）（，）（）本模型同时使用 和 两种激活函数，以较少个数的 来保持良好非线性，再加上较多个数的 来减少计算量，提升推理速度。由于 中置信度分支使用 损失函数进行计算过于简单，应该进一步优化。在目标检测领域，不同的算法可能会生成不同数量的候选框，而其中大部分都是不包含目标的负样本，只有少部分是包含预期检测到的目标的正样本，于是就导致了样本类别不均衡的情况。负样本比例太大，且多数是容易分类的，占据了总的损失的大部分，这就使得模型在回归的时候优化的方向并不如预期。针对这种情况，等提出了，它改进了交叉熵损失函数，通过动态的减少容易样本的权重，使得模型的注意力集中在更难以分类的困难上。公式为：（）（）（）当错误地分配了一个样本时，是一个很小的值，而式（）前面的调整系数就趋近于，不会影响对错误样本的损失计算。而当一个样本很容易被准确分类时，就趋近于，这时式（）前面的调整系数就趋近于 了，减少了很容易被准确分类的样本的损失对于总的损失的贡献。因此本文采用 代替 计算置信度损失。人体目标跟踪架构 本模型人体目标跟踪部分使用 结合 的 方 法，其 中 每 个 跟 踪 实 例 需 要 与 所得的目标检测结果进行匹配，根据不同的情况可分为 个状态，初始化时设定为临时状态，如果没有匹配上任何检测结果则会被删除；如果连续匹配上一定次数，则被设定为已跟踪状态；在已跟踪状态时如果未匹配超过设定的最大次数次，则被删除。使用级联匹配的方式进行跟踪实例和检测实例的匹配，见图。第 期曲英伟，等：结合改进 和 的人体摔倒检测模型研究 图 级联匹配过程 级联匹配中需要计算成本矩阵，分为两种：一种是余弦距离计算的成本矩阵，一种是 关联计算的成本矩阵，然后通过匈牙利算法解决线性指派问题。图 中级联匹配层使用的是余弦距离计算的成本矩阵，匹配使用的是 关联计算的成本矩阵且只用来计算没匹配上和无跟踪状态的跟踪实例。卡尔曼滤波器在多目标跟踪的应用中分为两个部分，一个是预测，一个是更新。预测有状态预测和协方差预测，状态预测是用跟踪实例在 时刻的状态来预测其在 时刻的状态，公式为：（）式中：是跟踪实例在 时刻的均值；为状态转移矩阵。做协方差预测，新的不确定性由上一不确定性得到，并加上外部干扰，如式（）：（）式中，为跟踪实例在 时刻的协方差；为系统的噪声矩阵（一般初始化为很小的值）。更新基于 时刻得到的检测实例，矫正与其关联的跟踪实例状态，以得到一个更精确的结果。计算检测实例和跟踪实例的均值误差为：（）式中：是检测实例的均值向量；为测量矩阵，它将跟踪实例的均值向量 映射到测量空间。将协方差举证 映射到测量空间，再加上噪声矩阵，如式（）：（）式中：噪声矩阵 是一个 的对角矩阵，对角线上的值分别为中心点两个坐标值和宽高的噪声，以任意值初始化。计算卡尔曼增益，用于估计误差的重要程度，如式（）：（）式（）和式（）分别计算了更新后的均值向量 和协方差矩阵：（）()（）基于滑动窗口注意力改进的 原 中 的 为，网络结构较为简单。本文引入 算法以期在 的 部分进行改进。算法以其特有的滑动窗口注意力机制结合原本 所特有的通道注意力机制，更准确地提取特征，进而提升 提取的准确率。算法由、相对位置编码、（窗口多头自注意力机制）、（滑动窗口多头注意力机制）等模块组成。解决了后续操作的数据输入问题。算法采取了对图像进行相对位置信息编码的方 大连交通大学学报第 卷式，将相对位置信息融合到 矩阵中。先以 的每个像素点为原点，配置其他点的对应坐标；然后按照顺序依次纵向拉平；再横向拼接起来形成像素点个数为宽高相等的正方形坐标矩阵；再统一加上偏移量后除以小于零的坐标值；而为了防止 坐标值一样，又将坐标值统一乘以 坐标值的最大值；最后将横、纵坐标相加，得到最后的 ，用于索引 的值，就可以在 矩阵中融合图像的相对空间位置信息。其公式为：，()（）（）式中：即为相对位置矩阵。使用窗口多头注意力后，前面划分的每一个窗口内部的像素就建立了关系，但是不同窗口之间，有的像素也是相邻的，这时候就需要进行一个窗口的滑动，然后再做自注意力操作，这样就使得不同窗口之间产生了信息的交互。而窗口的滑动，将特征图先向上移动 个像素，再向左移动 个像素，就将原来的特征图划分为 块不同的区域，以 大小的窗口在滑动后的特征图上做多头注意力，在做注意力之前，需要使用 的方法避免本来不相邻的像素之间做自注意力操作。窗口滑动的效果见图。这样一层窗口多头注意力后接一层滑动窗口多头注意力，就实现了当前阶段的全局信息交互。图 窗口滑动的效果 是对图片进行切片操作，在行方向和列方向每隔一个像素采样一个值，类似于近邻下采样，然后将每个区域中采样的每个像素按原图的位置拼接起来，这样通道数就会变成原来的 倍，再接一个线性层后将通道数减少变成原来的 倍，宽高就变为原来的，且在没有信息丢失的情况下得到下采样的特征图。算法对每一层特征图的信息都做了较好的信息交互。但是在每一通道上特征图的重要程度不应该都是相同的，本模型将 这一强大、有效的通道注意力机制引入 中，在进行每一次下采样之后，再增加执行一次 模块，给不同的通道赋予不同的权重，使模型容易学习到重要的特征信息。本模型设计了 人体姿态估计网络，用于提取 信息，其结构图见图。结合了 与原 中的、等模块，主图 网络结构 第 期曲英伟，等：结合改进 和 的人体摔倒检测模型研究 要是添加了 模块的 ，作为更高效和更准确的 来提取特征图，以期得到更准确的人体骨骼关键点提取结果。其中，是一种用通道数来弥补 和 尺寸上的损失的网络结构。通过卷积和周期性筛选来提高特征图的分辨率。本模型得到 个人体骨骼关键点在每一帧图像上对应信息的一个列表，列表里存储着对应人体目标的、得分、骨骼关键点、骨骼关键点得分和，其中 是骨骼关键点得分的均值 得分 倍最高骨骼关键点得分。基于图卷积的摔倒检测方法 图卷积（）是一种具有强大的图表达能力的深度学习模型，区别于卷积神经网络，它对非欧几里得结构的数据有较好的空间特征提取能力。而所提取出来的姿态图就属于这种非欧几里得数据，因此本文采用图卷积的方式对人体骨骼关键点进行处理，将骨骼图送入图卷积神经网络进行训练，模型推理输出得到分类结果，如坐着、站立、行走、摔倒等。拉普拉斯矩阵被用来定义图卷积神经网络，对于一个图 （，），其中 代表顶点（）的几何，代表边（）的几何。其拉普拉斯矩阵由这个图的度矩阵和邻阶矩阵共同定义。度矩阵就是对图中各个顶点的度的描述，即这个顶点与多少个顶点有联系，度矩阵是一个对角矩阵，其对角线上元素即每个顶点的度。邻接矩阵是对图中各个顶点连接关系的描述，因为在图卷积神经网络中，图都为无向图，由无向图的邻接矩阵表示方法可知，中的邻接矩阵是沿对角线对称的。拉普拉斯矩阵的计算公式为：（）式中：为图的度矩阵；为图的邻接矩阵。本模型使用如下方式构建图卷积神经网络：（）（）对于这里的，其实是对拉普拉斯矩阵的改进，学名为 拉普拉斯矩阵，其定义如下：（）（）具体到每一个节点，拉普拉斯矩阵中的元素为：，（）（）（），|（）式中：（）和 （）分别为节点，的度，即度矩阵在节点，处的值。该方法引入了自身度矩阵，解决自传递问题的同时，对邻接矩阵进行了归一化操作，再通过对邻接矩阵两边乘以节点的度矩阵开方然后取逆。本模型设计了一个简单有效的人体行为分类模型，将姿态估计部分预测所得到的 个人体骨骼关键点的坐标及其置信度得分作为一个形如（，）的向量，作为人体行为分类模型的输入，通过图卷积层、线性变化层、等模块处理，最后输出一个形状为（，）的特征向量，算法执行过程见图。图 摔倒检测算法执行过程 大连交通大学学报第 卷 图 中，的输入形状为，其中 为，为关键点个数，为通道数，代表了关键点的横、纵坐标和置信度得分。整个基于 的摔倒检测算法结构设计较为简单，先将关键点输入 模块中，求出 拉普拉斯矩阵，将 与关键点特征向量和初始化的权重 相乘，进行图卷积后输入 非线性激活函数，此时特征向量的形状变为，。随后再输入一个 模块，特征向量变为，。这时将特征图转换为二维张量，再使用线性层配合 激活函数实现一个简单的神经网络，对其特征进行学习。再使用 将激活函数输出的值以一定的比例随机置为，用来防止模型过拟合。最后用一个输出通道为 的 线性变换作为分类器，得到分类结果。试验与结果分析 为了从各方面对本文摔倒检测模型进行验证，本文进行以下三部分试验，分别验证目标检测部分、人体姿态估计部分和人体行为识别部分。优化后的 算法性能测试 目标检测部分的试验采用 数据集进行训练，其中，训练集为 张，验证集为 张，测试集为 张。其中，数据集的标注信息是 文件，只采用其中 即可视人体的标注信息，将其转为 数据集所需要的 文件进行训练。本节用、等指标来对试验结果进行评估。是指在同一个类别、不同阈值和不同召回率下的准确率，越大证明模型准确率越高；是参数量所占内存空间，体现了模型的大小和复杂度；是每秒所检测图片的数量；是指模型每秒执行多少次浮点数运算；是指第一个输入到第一个输出所需要的时间延迟。将本节算法结果、和优化前的 算法在 数据集的可视身体框部分进行对比试验，试验结果见表。表 数据集上的试验结果对比模型 （个）（次）本文算法由 表 可 以 看 出，本 模 型 所 优 化 后 的 算法在 数据集可视身体框部分的表现满足预期，其中，相对 提高了.，相对 提高了，相对优化前的 提高了，参数量仅，比优化前少了 ，较为轻量。而 虽然不如 那么优异，但相较于优化前每秒提升了 帧左右，并且能够满足完成实时检测的要求。优化后的算法时延比优化前缩短了 ，时延包括了前向推理时间和非极大值抑制处理时间。改进后的 算法性能测试本 文 人 体 姿 态 估 计 模 型 使 用 数据集来进行训练，采用每个目标所有的关键点的平均 即以 为指标来对模型进行评估，该值越大，证明模型的准确率越高。将本节所训练的模型与 、文献等在 姿态测试集上进行对比试验，试验结果见表。表 测试集上的结果对比算法 算法 文献本文算法 由表 可知，本文改进后的人体姿态估计算法在 测试集上 比、文献 分别提高了.、.，说明本文算法在准确率方面具有一定的优越性，能够提取更高质量的人体骨骼关键点。基于图卷积的摔倒检测算法性能测试本模型摔倒检测部分的训练数据是 从数据集中随机选取的 个视频，从这些视频中截取 帧图片，其中 帧用作训 第 期曲英伟，等：结合改进 和 的人体摔倒检测模型研究 练集，帧用作测试集。对每一帧图片使用改进后的 提取到，对这些 信息进行人工标注，标定其人体状态，并保存为二进制文件。将属于不同类别的图片和标注二进制文件放入不同的文件夹中以待训练。采用准确率和 两个指标对本文的人体行为分类模型进行评估，准确率和 的值越大，模型越好。在 数据集上与做类似工作的文献、和 的结果进行比较，所得结果见表。表 在 数据集上摔倒检测结果对比分析算法准确率 （个）文献本文算法 对比发现，本文所提出的基于改进的 结合 的摔倒检测算法，在 优于 和 的情况下，准确率达到了，较好地满足了实时摔倒检测的要求。结论 本文提出了一种基于改进 结合 的摔倒检测模型，该模型使用优化后的 结合 对视频中的人体目标进行目标检测、目标跟踪，得到每个人体的检测框，然后再使用改进后的 对检测到的每个人体进行姿态估计，提取人体骨骼关键点，最后再使用 对人体骨骼关键点进行人体行为分类，判断是否摔倒。本文在、等公开数据集上分别对人体目标检测算法、人体姿态估计算法和人体摔倒检测算法进行对比试验，结果表明，本文所提出的摔倒检测模型在目标检测、姿态估计上的算法改进和整体的模型设计都具有可行性，并且比其他模型提高了检测的准确率和实时性，具有一定的使用价值。参考文献：郭欣，王红豆，孙连浩，等 基于改进姿态估计算法的嵌入式平台实时跌倒检测 科学技术与工程，（）：曹建荣，吕俊杰，武欣莹，等 融合运动特征和深度学习的跌倒检测算法 计算机应用，（）：卫少洁，周永霞 一种结合 和 的人体摔倒检测模型 小型微型计算机系统，（）：，（），（）：，：（），：，（）：，：（）：，（）：，（）：，：（），：，（）：，（），（），：，：（）：，：，：大连交通大学学报第 卷葛威 基于人体姿态识别的跌倒检测 上海：东华大学，：，（）：马敬奇，雷欢，陈敏翼 基于 优化模型的老人跌倒行为检测算法计算机应用，（）：，（，）：，：；（上接第 页），（，）：，：；