利用轻量化深度学习模型和加速度信号的枪击识别方法.pdf

针对不同类型的枪击加速度信号，采用深度学习的方法，提出一种新的兼顾精度和轻量化的时间序列（ENT)模型进行研究.该架构核心由注意力倒置残差模块与倒置残差模块组成，能够自动提取枪击加速度信号特征，对不同输人时间尺度更具鲁棒性.在识别精确率方面达到97.42%，超越传统枪击识别算法，在公开枪击数据集上与SVM、决策树、随机森林3种传统机器学习模型，以及FCN、R e s Ne t、In c e p t i o n t i me、Xc e p t i o n t i me 等4种时间序列深度学习模型对比.实验结果表明：ENT模型更加高效，识别精确率更高.关键词：枪击识别；加速度；高精度；轻量化；时间序列模型中图分类号：TP391.4；E92 0.2Gunshot detection based on lightweight deep learning model and acceleration signalZHENG Haoxin,CHEN Zhicong,WU Lijun,LIN Peijie,CHENG Shuying(Institute of Micro-Nano Devices and Solar Cells,College of Physics and Information Engineering,Abstract:In contrast to the conventional method,this research employs for the first time a deeplearning strategy to examine various types of gunshot acceleration signals.A novel time series classifi-cation model called EfficientNettime has been proposed,capable of balancing recognition accuracy andmodel lightweight.The core of this architecture is composed of MBConvtime and Fused-MBConvtimemodules,which can automatically extract the characteristics of gunshot acceleration signals and aremore robust to different input time scales.The proposed model is verified and compared with threeconventional machine learning models(SVM,Decision Tree,and Random Forest)and four other deeplearning time series models(FCN,ResNet,Inceptiontime,and Xceptiontime),using a publiclyavailable gunshot dataset.The experimental results show that the recognition precision of EfficientNet-time model reaches 97.42%beyond the traditional gunshot recognition algorithm,and the model ismore efficient and has higher recognition precision.Keywords:gunshot recognition;acceleration;high accuracy;light-weighting;EfficientNettime model文献标识码：AFuzhou University,Fuzhou,Fujian 350108,China)0引言近年来，非法贩运和滥用枪支对全球安全构成严重的威胁在枪击监测识别上采取有针对性的干预措施，除了需要在行政方面进行干预外，还需要在技术层面提供可靠的支持。现有的枪击识别手段主要利用声学系统识别定位的方法，在定位敌人方面具有良好的准确性。然而，这类识别方案具有一定的局限性，在枪声传播50 m后，声信号质量明显下降，回声的存在和麦克风方向的变化会造成实际场景中的探测困难。若从枪击者自身获取枪声数据，采用声学阵列进行繁重的音频处理，会使得嵌人式设备的计算密集，最终成为耗电系统2 利用加速度传感器进行枪击识别提供了解决问题的全新思路.由于后坐力是接触特定的，不容易在人与人之间传递，所以从枪击者身上获取加速度信号能够精准定位持有枪支的人员.收稿日期：2 0 2 2-0 8-2 8通信作者：陈志聪（198 3-），副教授，主要从事故障诊断、机器学习、智能信号处理等研究，基金项目：国家自然科学基金面上资助项目（6 2 2 7 1151）；福建省自然科学基金面上资助项目（2 0 2 1J01580）:476 随着物联网的发展与微型传感器的出现，利用加速度传感器识别枪击信号可以帮助刑侦部门确定犯罪嫌疑人，有利于平安城市的建设.在枪械训练方面，通过对数据的分析，可以识别射击者特定的后坐力特征，从而进行针对性的训练改进在战场物联网建设方面，执法部门也可以受益于枪击加速度检测的应用，提升战场信息自动化技术.在枪击识别研究中，研究人员已经成功地利用佩戴在手腕上3-5 或者手机上的加速度传感器6 进行枪击识别其中，普遍的策略是采用快速动态时间规划（fast dynamic time warping，FD T W）与最邻近规则分类（k-nearest-neighbors，K NN）结合、支持向量机（supportvector machine，SVM）、决策树、朴素贝叶斯、逻辑回归等基于距离测量或特征提取的传统算法.然而，这两类算法的性能很大程度上取决于手工提取特征，在实际应用中会造成大量的计算量7 ，不利于枪击信号实时识别和嵌人式设备的部署。鉴于此，采用深度学习的方法进行研究，模型自动学习原始数据的特征表示在数据预处理和终端应用场景上节省了时间和计算量.但是，由于枪击信号识别往往需要高采样率的传感器，高采样频率所记录信息空间的数据量成倍增加，导致不同尺度时间窗口输入选择困难和模型泛化能力之间的矛盾.并且大数据量的输人会对嵌入式部署产生极大的影响，故模型需要进行针对性的轻量化设计.因此，本研究针对枪击加速度信号的特点，设计具有高精确率和轻量化的时间序列（EfficientNettime，ENT)模型.在公开数据集下，与SVM、决策树、随机森林3种机器学习算法和3种循环神经网络进行对比，探究模型的分类性能；通过设计特殊的网络结构，验证模型性能独立于不同尺度信号；并在识别准确率和轻量化方面与全卷积神经网络（fully convolution network，FCN）、残差网络（residual network，R e s Ne t）、Inceptiontime、Xc e p t i o n t i m e 等4种时间序列深度学习模型比较.1枪击识别原理与枪击识别模型设计1.1枪击识别原理分析枪击加速度信号与人类普通的运动信号或者射击过程中其他动作信号存在较大差异性，在射击事件发生前，出于对射击目标瞄准的需要，人的手腕处于静止或者恒定加速状态4。一且扣动扳机，射击加速度会迅速到达峰值，随后出现爆炸波、后坐力和枪口上抬3种明显信号特征.这个过程中枪管内会有30%的化学能转换为子弹的动能，随着加速度到达峰值，动量从推进剂和弹壳转移到手腕上，从而可被加速度传感器监测8 .由于不同的枪支具有不同的结构特点，其产生的加速度是不同的，因此可以根据加速度判断不同类型的枪击信号，如图12 所示，两种不同类型枪支的加速度波形不同.2g1g0-1g-2g0200图1拴式步枪加速度波形图Fig.1Bolt rifle acceleration waveform1.2倒置残差模块设计在某些情况下，常规卷积能够有效地利用GPU架构，能够提高检测的精度和速度.图3所示的倒置残差模块设计中，首先采用卷积核大小为3，步长为2 的普通一维卷积，卷积通道数fi为输人特征图维度的4倍.其次，在卷积层后都采用批归一化层（batch normalization，BN）和激活函数Swish9，与Effificient-NetV2中Fused-MBConv10不同的是该模块不采用注意力机制SE层（squeeze-and-excitation，SE），因为这会增加更多的计算量.最后使用降维的11卷积（conv11)将特征矩阵通道数转换为新的通道深度.基于此，该模块能在小参数的情况下，提取加速度信号的低维特征.http:/福州大学学报（自然科学版）X轴15gY轴乙轴400600采样点数/个第51卷X轴Y轴10g乙轴5g0-5g-10g-15g-20g800100012001400 16000Fig.2Molot Vepr-12 acceleration waveform200400图2 MolotVepr-12加速度波形图600采样点数/个8001000120014001600第4期1.3注意力倒置残差模块设计MobilenetV212中提出的倒残差结构可提高模型的内存使用效率。本研究将相同的设计思路运用到时间序列模型上，如图4所示.首先在第一层中引人升维的conv11，卷积通道数f，为输入特征图维度的4倍.在减少模型参数量方面，采用卷积核大小为3，步长为2 的深度卷积，对于输入的每个通道进行卷积，大幅减少模型的参数量.在提高模型精确率方面，使用注意力机制SE模块它由一个全局平局池化层和两个全连接层组成，第一个全连接层的节点个数是输人特征矩阵的通道数的四分之一，第二个全连接层的节点个数等于深度卷积输出的特征矩阵的通道数.最后，使用点卷积将SE层的输出通道数转换为新的通道深度，并引人具有随机深度13 的随机失活层.为了减小过拟合的风险和提高运行模型的速度，在第一个卷积层和深度卷积后采用批归一化层和激活函数Swish.批量大小输出通道数窗口长度随机失活层Swish激活函数批归一化层批量大小Xfx窗口长度个1X1卷积批量大小f窗口长度Swish激活函数批归一化层批量大小X窗口长度个一维卷积批量大小输入通道数窗口长度郑浩鑫，等：利用轻量化深度学习模型和加速度信号的枪击识别方法批量大小f窗口长度.个1x1卷积批量大小对窗口长度SE注意力机制Swish激活函数批归一化层个批量大小X窗口长度深度卷积批量大小x窗口长度Swish激活函数批归一化层批量大小对窗口长度个1x1卷积批量大小输入通道数窗口长度 477批量大小输出通道数窗口长度随机失活层图3倒置残差模块Fig.3Fused-MBConvtime module1.4 ENT模型设计在网络的浅层大量使用深度卷积会极大地降低模型的推理速度10 ，所以在浅层中首先使用过滤器数量为32，卷积核大小为3，步长为2 的一维卷积，然后使用批归一化层和激活函数Swish；在模型第二层中添加过滤器数量分别为12 8、32 的倒置残差模块，第三层添加过滤器数量分别为12 8、6 4的注意力倒置残差模块.第四层使用过滤器数量为12 8，卷积核大小为3，步长为2 的一维卷积.并在最后引人全局平均池化进行下采样，模型结构图如图5所示./-128432-32图4注意力倒置残差模块Fig.4MBConvtime moduleConvID层，f示滤波器数量BN层Swish激活函数Fused-MBConyTime层MBConvTime层Conv1xi层：表示滤波器数量全局平均池化层Dense层4-128+128-64图5EfficientNettime模型Fig.5EfficientNettime modelhttp:/:478 本研究提出的ENT结构的新颖之处在于模型结构与时间窗口尺度之间的独立性，即对于不同的窗口尺度，模型结构能够保持不变且参数不需要重新配置.另外，该结构在精确率和轻量化上具有一定的优势2实验材料与方法2.1楼数据集采用公开的枪械反冲力数据集5，它利用三轴加速度传感器采集枪击事件，采样频率为1600Hz，灵敏度为16 g.数据集中记录了手枪、猎枪和霰弹枪共15种类型的枪支射击加速度信号，并且数据集中还存在如枪支碰撞、拉枪栓等信号.为了在真实射击过程中识别出枪击信号，必须考虑射击过程中的其他动作干扰（如在射击过程中装弹等动作的干扰，见图6），所以本研究增加了非枪击信号作为对比数据，以进一步验证模型准确识别出枪击信号的能力.2.2楼数据预处理与数据增强对原始加速度信号采用重复率为50%的滑动窗口进行分割，每个窗口大小包括T个采样点.通过判断窗口能量TE=（a？+,+a）的大小选择候选枪击信号中心片0段区域，其中E表示窗口的能量，x，y，a.表示三轴加速度，T表示窗口大小。随后将滑动窗口进行随机偏移，并剔除不符合枪击特征的信号帧.这种方法等同于文献3提出的数据处理和数据增强14 的思想。通过这种手段，可以实现深度学习在小型数据集上的应用.所以，原始枪击后坐力数据经数据预处理和数据增强后，得到包含97 5个枪弹后坐力片段数据，总共16 类别，每个信号维度为16 0 0 3，具体信息如表1所示随后，该数据集被随机分为两个子数据集，包括6 8 3个（7 0%）样本的训练数据集和2 92 个（30%）样本的测试数据集.2.3实验平台与评价指标实验在NVIDIA GeForceGTX2060平台上进行.选择加权的精确率（Precision，P），召回率（Recall，R），F，分数(F,-score，F,）和准确率（Accuracy，A）、Co h e n s K a p p a统计系数(Kappa，K)作为模型的分类指标，在模型轻量化评价方面，选择模型的参数量，模型总体运行内存消耗，以及推理时间（识别出一帧加速度信号的时间）和训练时间（将总体数据集以批量大小为32 作为输人直到loss收敛）.即1PleLF1leL式中：Tp、Fp、Fn、T N是训练好的算法模型在测试集上混淆矩阵中对应的真正率、假正率、假负率和真负福州大学学报（自然科学版）15gX轴一Y轴枪吉乙轴信号信号10g5g0-5g-10g-1580图6 数据集中枪击与非枪击信号波形图Fig.6 Waveforms of gunshot and non-gunshot signals in the dataset表1样本类别说明Tab.1Samples category description类别信号名称Ruger MK2FN5.7Glock 19Bolt 22Ruger 10/22ADCOR AR15Yugo SKS枪击信号M16AR15WASR10AK 47Scoped M91/30Romanian PSLM44Remington 1100VEPR 12Remington 870非枪击信号Non-gunshotTp(yi,yt)1lyR=eLTp(yi,jt)+Fp(yt,st)1PRZlyl(1+)2p+RytleL第51卷非枪击撸聘韭枪击信号2.0004.0001yyileLleL1nsamples-11(y;=y:),K=nsamplesi=0http:/6.000采样点数/个Tp(yt,yt)Tp(yt,jt)+Fn(yi,jt)_ P。-Pe1-Pe800010.000样本数量/个54576263575456526330333029333027212.00014.000(1)(2)第4期率；L表示真实标签集合；yi表示某一类别标签集合；表示预测类别标签集合；表示样本权重；，表示预测标签；y，表示真实标签；P。表示在类标签的预测一致性；P。表示在类标签的机会一致性概率.3实验结果与讨论3.1评价模型性能并与传统枪击识别方法对比结果在模型训练过程中，随着训练次数的不断增加，模型的准确率不断提高，损失不断下降，如图7 所示.在测试集上的准确率一直超过训练集，最终准确率达到96.2 5%，并且经过2 0 轮训练后，训练集和测试集上的loss下降趋势基本相同，说明模型不存在过拟合的现象.此外，图8 的混淆矩阵显示非枪击信号识别精确率达到90%.其中，许多非枪击信号被误认为Bolt类型的枪支；类似地，虽然SKS枪支的识别精确率达到92%，但是许多信号误分类为非枪击信号.其原因在于装弹过程中，由于其动作幅度较大导致枪击与非枪击波形的波形幅值差别较小，增加了分类的难度.10090807005432100图7 模型训练过程的准确率和损失Fig.7Accuracy and loss of model training process为了验证各模块的有效性，进行消融实验，结果如表2 所示.在普通卷积神经网络的基础上逐步增加倒置残差模块和注意力倒置残差模块后，模型的性能出现适度的提升.其中，ENT模型比移除倒置残差模块的网络、注意力倒置残差模块的网络和普通的卷积神经网络在精确率方面分别提升2.0 1%、2.82%、4.2 9%，说明本研究所提出的两个模块对于整体系统的性能提升具有一定的效果.本文对比了最佳的SVM、决策树、随机森林3种机器学习算法.在特征工程中，计算每一轴加速度信号的16 种时域和频域特征，总计48 种特征，并通过卡方检验的方式选取最优特征.实验结果如图9所示，在10 折交叉验证情况下,所提出模型的精确率、Kappa统计系数、F，分数、召回率均超过其他模型，整体指标比SVM分类器提高了2 4.41%，说明ENT模型在枪击识别上性能更佳.对比了普通循环神经网络（recurrent neuralnetworks，R NN）、长短期记忆循环网络（long short-term memory，L ST M）、门控循环网络（gate recurrentunit，G R U）.3种循环神经网络采用循环核大小依次郑浩鑫，等：利用轻量化深度学习模型和加速度信号的枪击识别方法a00.00.930.0一测试集准确率训练集准确率2040501030轮次/轮(a)训练集与测试集准确率变化102030轮次/轮(b)训练集与测试集损失值变化 47999a010.090.01.01.02.06070测试集损失值一训练集损失值40506070http:/0.00.92.0图8 混淆矩阵Fig.8Confusion matrix表 2 消融实验对比Tab.2Ablation experiment指标模块PENT模型97.42去除倒置残差模块95.50去除注意力倒置残差94.75去除以上两个模块93.41准确率100Kappa统计系数召回率分数9590%/yyd8580757065600.00.1.00.0.03.12%6273.23%2.22SVMFig.9Comparison of each model0.01.00.01.03.03.02.0.02.0预测标签F96.6394.1393.6792.517.42%5.63%5.941.66%Decision Tree分类器图9各模型对比0.01.01.00.070.931.00.01.00.01.00.02.00.0RandomForest0.00.00.0 a.00.00.02.03.020.0.001.0.0ENT(%)R97.9895.3493.8593.0497.98%6.63:480为16、32、12 8 的顺序拓扑结构.实验结果如图10 所示，所提出的模型在识别精确率方面比RNN、L ST M、GRU分别提升了6 0.47%、56.36%、10.98%.枪击加速度序列的整体空间特征比时间维度上的特征更加显著，卷积神经网络ENT的一维卷积核能够完成并行化卷积操作.并且不同于循环神经网络可能存在的梯度爆炸和梯度消失等梯度不稳定问题，卷积神经网络具有稳定的梯度，更有利于反向传播过程中的参数优化.3.2多尺度输入对模型的影响结果选取不同尺度的时间窗口，在测试集上验证了ENT模型的精确率、F分数和召回率，结果如表3所示.对于选取采样点数为8 0 0 的时间窗口，模型的精确率、F，分数和召回率最高.但是，对于3种不同的时间尺度，差距在1%2%之间，说明模型对不同尺度信息具有较强的泛化能力.由于公开数据集的原论文4 采用尺度为16 0 0 个采样点的时间窗口进行实验验证.然而，若在真实环境部署算法，模型的输人以8 0 0 个采样点为时间窗口，性能更优3.3对于模型轻量化与准确率的评估结果为分析在单一变量下不同模型的性能，如表4所示，在相同准确率范围内，ENT模型的参数量为44344，约是ResNet15模型的1/11，是Xceptiontime16模型的1/4；并且内存消耗是ResNet模型的1/8，是Xceptiontime模型的1/17；推理时间比ResNet减少了19.7 4%，比Xceptiontime减少了2 7.13%.这说明模型在相同准确率范围内，具有更少的参数量和更低的内存占用，有利于在系统内存资源受限的硬件上部署模型.而当模型参数量都在30 10 3范围内时，实验结果如表4所示，ENT模型的准确率最高，比FCN16 和Inceptiontime16分别高出8.90%、6.51%.并且通过观察发现，由于Inceptiontime模型上使用了并行的卷积核，提高了模型的准确率，比FCN性能更加优异.在内存消耗方面，ENT模型的内存占用量最小，比FCN模型降低了2 0.90%，比Inceptiontime模型降低了37.17%.模型在相同参数量范围具有更高的准确率且内存占用更低，说明ENT模型在识别性能上更加优秀，更能表征枪击加速度信号的分类效果.所以根据以上两个对比实验，充分证明ENT模型是种兼顾高准确率和轻量化的深度学习模型.模型参数量耗/MiBENT44 344ResNet509 776Xceptiontime1935221 617.92然而，表4中ENT模型的参数量比ResNet减少约1/10，但模型的推理时间却没有显著的提升.根据RooflineModel 理论17 ，模型的计算强度影响模型性能，ResNet的计算强度为1.12 5，ENT的强度为0.153，ResNet的计算强度约是ENT模型的7 倍，这说明了两者参数量差距较大，推理时间却相近的原因.模型的推理速度受硬件系统综合性因素的影响，不同硬件上的推理时间是不同的，故实测推理时间可能更具实际意福州大学学报（自然科学版）10080%/4yd6040200RNM图10 各循环神经网络模型对比Fig.10 Comparison of each recurrent neural network model表3多尺度窗口大小对比Tab.3Comparison of scale window size(%)时间尺度P60096.3880097.701 60097.42表4模型性能对比Tab.4Model performance comparisonA=(96 1)%内存消t推理/ms圳川练/s92.606.34746.447.908.70631.80http:/第51卷精确率Kapa统计系数召回率成分数模型A/%42.88ENT83.52FCNInceptiontimeLSTM分类器F,96.8597.9996.63参数量=(30 10)10 3内存消t推理/ms耗/MiB96.6192.6087.71177.0690.10147.38GRUR96.8798.4897.98t训练/s6.3442.886.1427.576.8358.03ENT第4期义.对于实际应用过程中模型的推理速度，可以在未来考虑采用在特定硬件上进行硬件加速的方法.4结语实现了深度学习在基于加速度信号的枪击识别上的应用，设计出ENT深度学习模型，在识别精确率方面优于传统机器学习方法与循环神经网络，达到97.42%，整体指标比SVM分类器提高了2 4.41%.在多尺度输人方面，ENT模型能够有效处理不同尺度输入的差异.在轻量化指标方面，模型在相同准确率范围内，内存消耗方面是ResNet模型的1/8，是Xceptiontime模型的1/17；在相同参数量范围内，准确率比FCN和Inceptiontime分别提高8.90%、6.51%，说明模型具有高精度和轻量化的特点，适合在系统内存资源受限的硬件上部署.参考文献：1 HRABINA M,SIGMUND M.Acoustical detection of gunshots C/25th International Conference Radioelektronika.Pardubice:IEEE,2015:150-153.2 SALLAI J,HEDGECOCK W,VOLGYESI P,et al.Weapon classification and shooter localization using distributed multichannelacoustic sensors J.Journal of Systems Architecture,2011,57(10):869-885.3 WELSH D,FARIDEE A Z M,ROY N.Hybrid distance-based framework for classification of embedded firearm recoil data C/IEEE International Conference on Pervasive Computing and Communications Workshops and Other Affiliated Events.Kassel:IEEE,2021:50-55.4 KHAN MAAH,WELSH D,ROY N.Firearm detection using wrist worn tri-axis accelerometer signalsC/IEEE InternationalConference on Pervasive Computing and Communications Workshops.Athens:IEEE,2018:221-226.5 LOEFFLER C E.Detecting gunshots using wearable accelerometers J.PloS One,2014,9(9):el06664.6 WELSH D,ROY N.Smartphone-based mobile gunshot detection C/IEEE International Conference on Pervasive Computingand Communications Workshops.Kona:IEEE,2017:244-249.7 ZHENG Y,LIU Q,CHEN E,et al.Time series classification using multi-channels deep convolutional neural networks C/Web-Age Information Management.Macau:Springer,2014:298-310.8 MORELLI F,NEUGEBAUER J M,LAFIANDRA M E,et al.Recoil measurement,mitigation techniques,and effects on smallarms weapon design and marksmanship performance J.IEEE Transactions on Human-machine Systems,2014,44(3):422-428.9 RAMACHANDRAN P,ZOPH B,LE Q V.Searching for activation functionsEB/OL.(2017-10-16)2022-08-26.https:/arXiv.1710.05941.10 TAN M,LE Q.Efficientnetv2:smaller models and faster training C/International Conference on Machine Learning.S.1.:IMLS,2021:10096-10106.11 ROY A G,NAVAB N,WACHINGER C.Concurrent spatial and channel squeeze&excitation in fully convolutional networksC/Medical Image Computing and Computer Assisted Intervention.Granada:Springer,2018:421-429.12 SANDLER M,HOWARD A,ZHU M,et al.Mobilenetv2:inverted residuals and linear bottlenecksC/Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition.Salt Lake City:IEEE,2018:4510-4520.13 HUANG G,SUN Y,LIU Z,et al.Deep networks with stochastic depth C/Computer Vision-ECCV.Amsterdam:Springer,2016:646-661.14J ANGELIS G F,TIMPLALEXIS C,KRINIDIS S,et al.NILM applications:literature review of learning approaches,recentdevelopments and challenges J.Energy and Buildings,2022:111951.15 ISMAIL FAWAZ H,FORESTIER G,WEBER J,et al.Deep learning for time series classification:a reviewJ.Data Miningand Knowledge Discovery,2019,33(4):917-963.16 RAHIMIAN E,ZABIHI S,ATASHZAR S F,et al.Xceptiontime:a novel deep architecture based on depthwise separableconvolutions for hand gesture classification EB/0L.(2019-11-09)2022-08-26.https:/arxiv.org/abs/1911.03803.17 WILLIAMS S,WATERMAN A,PATTERSON D.Roofline:an insightful visual performance model for multicore architecturesJJ.Communications of the ACM,2009,52(4):65-76.（责任编辑：蒋培玉）http:/郑浩鑫，等：利用轻量化深度学习模型和加速度信号的枪击识别方法 481