基于ST-GCN警用巡逻机器人警情识别系统设计.pdf

传感器与微系统（）年第卷第期：（）基于警用巡逻机器人警情识别系统设计胡丽军，吴燕玲，宋全军，徐湛楠（安徽大学电气工程与自动化学院，安徽合肥；中国科学院合肥物质科学研究院智能机械研究所，安徽合肥）摘要：针对现有警用巡逻机器人警情识别系统识别种类单一、识别率较低等问题，基于时空图卷积网络（）和算法的融合，面向跌倒（）、打砸（）和推搡（）种警情，设计了警用巡逻机器人警情识别系统。通过在真实场景测试，种警情识别率分别为：跌倒，打砸，推搡；实时识别帧率为。实验结果表明：所设计的警情识别系统可以实现多种警情的实时、准确、可靠识别，具有较高的应用价值。关键词：时空图卷积网络；算法；警情识别；警用巡逻机器人中图分类号：；文献标识码：文章编号：（），（，；，）：，（），：，：，：，：，：（）；引言近年来，随着人工智能技术的发展，警用巡逻机器人在安防领域逐渐走向实战。警情识别作为警用巡逻机器人的重要功能，国内外学者开展了较多的相关研究工作，目前主要通过深度学习算法提取视频特征进行视频分类，实现警情识别。基于视频的警情识别主要分为基于纯三原色（）视频和基于人体骨架数据两种方法。但基于纯和人体骨架的警情识别方法存在警情识别种类单一、识别率低及网络鲁棒性低等问题。本文针对上述问题，以科研大楼为真实场景，提出了基于时空图卷积网络（，）和相结合的方法，实现了多种警情识别，同时降低了环境背景信息冗余、骨架信息丢失等问题对警情识别的干扰，提高了警情识别的准确性和可靠性。相关工作骨架图构建骨架序列的每帧关节点坐标通常为维坐标或者维坐标。在具有个关节点和帧的骨架序列当中构成无向时空图（，）。在图中，节点集 ，包括骨架序列中的所有关节，作为收稿日期：基金项目：安徽省重点研究和开发计划资助项目（，）；中国科学院合肥物质科学研究院院长基金资助项目（）第期胡丽军，等：基于警用巡逻机器人警情识别系统设计的输入。由个子集组成边缘，第一个子集描述了每帧骨架内的自然连接，称为，（，），其中，为人体关节点自然连接的集合。第二个子集包含帧间边缘关系，连接相邻帧的相同关节点，称为，（）。利用单个时间步长的关节点坐标来形成特征向量，这样容易忽视骨架点自然连接的特征。本文基于骨架空间和时间特征相结合的算法，提取更多的骨架数据特征构。构建空间和时间骨架序列数据需要个步骤：第一步，构建人体骨架关键点的自然连接图，构建帧内空间图；第二步，将相邻帧的空间图的同一关节点连接起来。Temporal人体骨架时空图M 帧人体骨架空间图序列TMT2T1图人体时空骨架图构建过程图像卷积假设给定一个卷积核的大小为。输入为，通道数为。在单通道的位置输出可以表示为（）（，）（，）（）式中采样函数用来列举位置的领域，在图卷积可以表示为（，）（，），权重函数用于计算和采样维通道的输入特征向量的内积，这里采用的是可变性卷积，权重函数与输入位置无关。因此，卷积核的权重在输入图像上共享。图卷积从图中可以看出：图卷积网络（，）是一种可以直接在图上工作，并利用图结构信息的神经网络。对于非欧氏空间的数据处理，具有更好的鲁棒性。构造通常遵循条原理：）从光谱的角度：图卷积中的位置信息被看作是以光谱分析的形式；）从空间的角度：卷积核直接应用于图节点及其邻居节点。输出ReLUReLU隐含层隐含层输入图 模型 本文采用的是空间的角度，且每一个滤波器只应用到个节点的个领域。在单帧的时刻，具有个骨架点，骨架边缘（），（，）。从维图像和特征图的卷积定义来看，它们都可以被看作是维网络。通过卷积操作的输出特征也是一个维网络，将卷积步长设为，以及适当的，输出特征和输入特征可以具有相同的大小。在图卷积中，可以类似的定义对于节点其邻接点集合（）（，）的采样函数。（，）表示到的最小长度。因此，采样函数可以表示为（，）（）在图卷积中，可以有一个映射?（），它将领域中的节点映射到其他子集标签。因此，权重函数（，）可以通过索引一个（，）维的张量。权重函数可以表示为（，）（）（）利用改进后的采样函数和权重函数，将式（）改写为（）（）（）（）（）（）其中，（）（）（）等于对于子集的基数，是为了平衡不同子集对输出的贡献。是时间卷积网络（，）和相结合的神经网络，提取人体骨架数据的时间特征，提取人体骨架数据的空间特征。再通过标准的来进行分类。如图所示，一共有层网络层，前层的输出通道为，中间层的输出为，最后层输出通道为，每个层的时间卷积核大小为。其中模块，具有的卷积层，卷积核大小为，其中对应的是时间维度。在里面还加入层，在识别某个动作时，给影响该动作识别的关节点赋予更大的权值。为了防止随着网络层的加深出现梯度消失和爆炸的情况，在每一个都使用残差结构，设置为，防止出现过拟合。在第层和第层将时间域的设置为作为池化（）层，最后对得到的张量进行全局池化得到维的特征向量，将特征向量输入到层进行分类。动作分类SoftMaxFCST-GCN?256ST-GCN?256ST-GCN?256ST-GCN?128ST-GCN?128ST-GCN?128ST-GCN?64ST-GCN?64ST-GCN?64骨架序列图 模型警用巡逻机器人警情识别系统设计系统总体框架本文系统总体框架如图所示，包括数据集获取、数据集预处理、训练模型、警情识别。数据集获取：通过相机拍摄种警情，生成数据集，包括跌倒（）、打砸（）、推搡（）；数据集预处理：通过提取人体个骨架点坐标，同时对骨架点坐标进行归一化处理；训练模型：通过传 感 器 与 微 系 统第卷迭代预处理后的数据集，生成权重文件和保存权重文件；警情识别：监控系统实时拍摄视频数据，通过提取人体骨架点，加载训练好的权重文件对警情分类。系统功能模块划分 数据集获取通过相机拍摄种警情，生成数据集（），如图所示，每种动作时间控制在 左右。每种动作拍摄了个，每种动作总的时间约，种动作时间共计约。(c)?Smash(b)?Push(a)?Fall图 种警情样例 数据集预处理预处理流程如图所示，通过提取视频人体个骨架点的维坐标和置信度。因为在不同的节点权值共享，所以在不同的节点上保持输入数据规模一致性十分重要，因此需要提取关节点维坐标进行归一化，使得坐标数值范围在，这样每个动作的视频处理成骨架点数据的文件，将多个文件整合在一起，数据集为 文件，动作标签为 文件。label.pkl文件data.npy文件文件整合JSON 文件归一化OpenPoseDemo图数据集预处理流程 训练模型数据集中 个文件分为为训练集（），个为验证集（），个为测试集（）。本文采用随机梯度下降（）算法，设置为，权重衰减设置为。将原网络从个调整为个，从 调整为。训练的工作机制：如图所示，训练个，设置为，并设置数据随机打乱，每个保存一次训练权重，通过交叉验证选择出训练个当中最佳权重。交叉验证的工作机制：本文设置每训练个就交叉验证一次，设置为，一共进行了个交叉验证。实验与分析开发工具本文系统安装在自制的警用巡逻机器人平台如图所1513119753100.20.40.60.81.014512197734925100.20.40.60.81.01.21.4epochval_acctrain_lossepochval_acc 上升曲线train_loss 下降曲线图模型训练和交叉验证曲线示，该平台基于赛格威公司的机器人进行改装活动，搭载具有可见光和热成像功能的云台和高性能工控机。工控机具体配置如下：为，主频为 ，六核型，内存容量为，显卡为。系统开发环境为 系统，软件开发框架为，开发语言为 。图警用巡逻机器人平台 数据集的测试加载，计算总的预判对的警情个数和总数的比值来得出最后的如表所示。表 在数据集识别率模型 将种警情分开进行测试，得出单个警情，的识别率分别为，。真实场景测试本文实验选择的真实场景在科研大楼附近，通过在警用巡逻机器人的监控系统前实时做，种警情。每种动作做次，统计实时识别正确的次数，并计算识别率结果如表所示。表 在种警情实时识别率警情正确识别的次数识别率 在图中，第一张图为做实验的真实场景。第二张图为警情识别界面，每个界面分为个小的窗口，第一个窗口为原始的视频界面（），第二个窗口为人体骨架图（），第三个窗口为动作识别的结果显示（），第四个窗口为人体骨架关节点的注意力机制（）。实验数据表明，警情识别实时第期胡丽军，等：基于警用巡逻机器人警情识别系统设计帧率为 左右，准确率为 左右。图警情识别系统界面实验结果分析通过实验数据表明警情识别率相比其他两个警情识别率较低，原因是与动作比较接近，存在较强的耦合性，导致易误判为；自建数据集数量有限以及拍摄动作不规范，对识别率也有一定的影响。结论本文提出了一种和相结合的算法，利用人体动态骨架序列中的运动信息和人体关节点的自然连接关系，面向种警情的识别开展研究，并在真实场景进行测试，测试结果表明，所提算法可以实现种警情的准确、实时识别，具有一定的应用价值。但所提算法对系统资源消耗较高。参考文献：杨宇，刘宇红，彭燕，等基于机器视觉的目标识别追踪算法及系统设计传感器与微系统，（）：，（）：，未庆超，张曙光，曹忠尉，等智能校园巡逻机器人的设计电子测试，（）：王倩，孙宪坤，范冬艳基于深度学习的时空特征融合人体动作识别传感器与微系统，（）：，（）：赵宏伟，徐叶军楼宇巡查机器人的设计与研究电脑知识与技术，（）：，田佳，刘泓滨，王宇，等一种机器视觉的安防巡逻机器人系统设计机械设计与制造，（）：，：，（）：，（），：杨君，张素君，张创豪，等基于的人体动作识别对比研究传感器与微系统，（）：，（）：邬倩，吴飞，骆立志基于几何特征与网络结合的动作识别算法传感器与微系统，（）：，（）：田联房，吴线超，杜启亮，等基于人体骨架序列的手扶电乘客异常行为识别华南理工大学学报（自然科学版），（）：李顺，郭星，吴建国基于关键帧和骨骼信息的人体动作识别方法传感器与微系统，（）：，（）：，（），：，：，：作者简介：胡丽军（），男，硕士研究生，研究方向为深度学习，警用巡逻机器人警情识别技术。吴燕玲（），女，副教授，主要从事单片机原理，数字信号处，遗传算法等课程的教学工作。宋全军（），男，研究员，主要研究领域为智能机器人，人机接触交互。徐湛楠（），男，助理研究员，主要研究领域为机器人智能控制，人机交互。