基于微多普勒信号分离和SqueezeNet的人体身份识别.pdf

第5期2023年10月Vol.21 No.5October 2023雷达科学与技术Radar Science and TechnologyDOI:10.3969/j.issn.16722337.2023.05.006基于微多普勒信号分离和SqueezeNet的人体身份识别孙延鹏，贺韶枫，屈乐乐（沈阳航空航天大学电子信息工程学院，辽宁沈阳 110136）摘要：针对基于雷达传感器的人体身份识别问题，本文提出一种基于微多普勒信号分离和SqueezeNet的人体身份识别方法。首先利用雷达对人体行走的步态进行探测并收集回波数据，回波数据经过预处理得到微多普勒时频谱图；其次用阈值法对时频谱图进行微多普勒信号分离从而得到四肢的时频谱图；最后将其输入到SqueezeNet网络，采用Softmax分类器来实现人体身份识别。实验结果表明，经过微多普勒信号分离后人体身份识别准确率提高5.25%，SqueezeNet网络与其他网络相比，在网络性能上具有准确率高、网络参数少、测试时间短等优势。关键词：调频连续波雷达；人体身份识别；微多普勒信号分离；短时傅里叶变换；SqueezeNet网络中图分类号：TN957.51文献标志码：A文章编号：16722337（2023）05051106Human Identity Recognition Based on MicroDoppler Signal Separation and SqueezeNetSUN Yanpeng,HE Shaofeng,QU Lele（College of Electronic Information Engineering,Shenyang Aerospace University,Shenyang 110136,China）Abstract:Aiming at the problem of human identity recognition based on radar sensor,this paper proposes ahuman identity recognition method based on microDoppler signal separation and SqueezeNet.Firstly,the radar is usedto detect the human walking gait and collect the echo data,which is preprocessed to obtain microDoppler timefrequencyspectrum.Secondly,the microDoppler signal separation is used to obtain the timefrequency spectrum of the limbs bythe threshold method.Finally,it is input into the SqueezeNet network and the Softmax classifier is used to achieve thehuman identity recognition.The experimental results show that the accuracy of human identity recognition is improvedby 5.25%after microDoppler signal separation.Comparing with other networks,SqueezeNet network has the advantagesof high accuracy,less network parameters and shorter testing time.Key words:frequency modulated continuous wave radar;human identity recognition;microDoppler signal separation;shorttime Fourier transform;SqueezeNet network0引言近年来，人体身份识别技术在门禁系统、安防监控和医疗诊断等领域有广泛应用。目前，指纹识别1、人脸识别2以及虹膜识别等人体身份识别技术，都验证了方法的可行性。但是指纹识别需要手指直接接触传感器，有卫生隐患存在3；人脸识别和虹膜识别主要是通过摄像机获取信息，然而摄像机仍存在根本性的缺陷，例如，无法处理突然的闪光或在光线不足或恶劣天气条件下进行记录，此外，在隐私敏感区域操作时，相机的无限制使用也受到争议4。因此采用雷达传感器进行人体身份识别近年来受到越来越多的关注。一方面雷达传感器是在一定的视线范围内发射电磁信号，雷达传感器不易受到光线以及环境的影响，并且雷达信号能够穿透墙壁、服饰等障碍物5；另一方面雷达传感器是以非接触方式运行，不要求测试者携带任何设备或者要求测试者合作6，这极大程度地保护了个人隐私。基于雷达传感器的人体身份识别核心是通过人体步态来实现身份识别，人体步态可以简单地定义为“走路方式”，影响人体的走路步态主要是收稿日期：20221031；修回日期：20221124雷达科学与技术第 21 卷 第 5 期个人的生理因素或者环境，从而使人体之间步态存在多样性，其中对微多普勒特征的研究最具代表性79。文献 10 提出提取人体步态的微多普勒特征和微动距离时间特征实现人体身份识别的方法，但需要提取步态数据立方体，采集过程比较繁琐，同时数据量也过大。文献 11 使用深度卷积神经网络进行基于步态微多普勒的人体识别，其平均识别准确率从 4 人的 97.1%下降到 20 人的68.9%，在识别能力上是欠佳的。文献 12 提出了一种微多普勒分离方法，通过短时分数傅里叶变换方法分离躯干微多普勒信号来提高身份识别的准确性，使用深度卷积神经网络对10个人的平均准确率达到85.6%，但是实现算法的复杂度较高，实验的准确率还有待提高。文献 13 在迁移学习框架下使用 ResNet50网络对步态微多普勒数据集进行识别。文献 14 采用一种多尺度特征聚合策略的普通卷积神经网络来解决识别问题，但其网络过于简单和样本数量不足。文献 15 提出一种基于时频滤波和维特比算法的微多普勒信号分离方法，但是该算法主要受到瞬时频率估计和时频滤波器的限制。针对上述问题，本文以调频连续波（FrequencyModulation Continuous Wave，FMCW）雷达为基础，提出一种基于微多普勒信号分离和SqueezeNet的人体身份识别方法。首先通过FMCW雷达采集人体行走步态的回波数据并进行预处理，再使用运动目标显示（Moving Target Indication，MTI）滤波器对慢时间维进行线性滤波处理，有效地滤除背景杂波，然后经过短时傅里叶变换（ShortTime FourierTransform，STFT）得到人体的微多普勒时频谱图16，使用阈值法对时频谱图进行微多普勒信号分离，进而得到人体躯干与四肢分离的时频谱图，将时频谱图输入到SqueezeNet网络训练，最后利用Softmax分类器对人体身份进行分类和识别。1雷达信号预处理本文使用 FMCW 雷达实测人体步态回波数据，对4名测试者的步态回波数据进行预处理，得到相对应的微多普勒时频谱图。FMCW雷达回波数据预处理方法如图1所示。KLDMTI$MASTFTM-1L-100K图1回波数据预处理流程图将FMCW雷达回波信号重构得到二维数组，M是慢时间维采样个数，即一次采样所含周期个数，L是快时间维采样个数，即一个调频周期的采样点数。首先，对图1中的矩阵列方向在快时间维进行离散傅里叶变换（Discrete Fourier Transform,DFT），从而得到测试者距离雷达的距离信息。对测试者行走步态所在的距离单元的信号进行相干叠加，其中距离单元范围是1030；其次，使用MTI滤波器对慢时间维数据序列进行线性滤波处理，将背景杂波有效地滤除，再沿慢时间维进行短时傅里叶变换，从而得到微多普勒时频谱图，如图2所示。其中，STFT的窗函数是时间窗大小为0.2 s以及重叠因子为0.95的汉宁窗。01234K/s-400-2000200400M(Hz-35-30-25-20-15-10-50图2人体步态时频谱图2步态微多普勒信号分离FMCW雷达信号沿快时间维经过DFT得到距离时间图，滑动窗口沿时间轴截取，然后进行短时傅里叶变换得到微多普勒时频谱图，但是由于受到躯干回波强烈的影响，很难从肢体微动作获取相关精细的特征，这对于基于雷达传感器开展人512孙延鹏：基于微多普勒信号分离和SqueezeNet的人体身份识别2023 年第 5 期员身份识别工作，难度有所提升，因此实现人体步态微多普勒信号分离是有必要的。目前人们对微多普勒信号的分离是非常感兴趣的，但是需要特定雷达系统以及提取目标距离和频率特征来实现，过程很复杂。鉴于此，本文提出了一种使用阈值法对时频谱图进行微多普勒信号分离的方法。该方法简单、运算效率高、速度快。采用阈值法对时频谱图进行微多普勒信号分离的关键是阈值的选取，本文选取阈值的方法是信号强度直方图法。通过人体躯干微动并且四肢不动，可得到类似人体行走步态的躯干微多普勒特征，如图 3 所示，代表躯干微动信号强度分布直方图，-50-25 dB之间代表实验中的背景信号，-180 dB之间代表躯干微动信号。图4表示人体行走步态微多普勒信号强度分布直方图，是通过测试者正常行走测得的，其中包含测试者四肢和躯干的微多普勒特征，-25-18 dB之间代表四肢微动信号，从图中可看出-18 dB位置出现小波峰，表示包含人体行走步态四肢的微多普勒信号多。同时，由图3和图4也可直观地得出，将本阈值设为-18 dB的合理性。-50-45-40-35-30-25-20-15-10-50dB00.20.40.60.811.21.41.61.82G104-5000.20.40.60.81.01.21.41.61.81042.0-45-40-35-30-25-20-15-10-50FdB图3躯干微动信号强度分布直方图-50-45-40-35-30-25-20-15-10-5000.20.40.60.81.01.21.41.61.82.0104FdB图4步态微多普勒信号强度分布直方图由于躯干的雷达横截面通常远大于四肢的雷达横截面，使其回波能量比较大17，因此时频谱图中能量最强的部分来自躯干，而能量较弱的部分来自四肢，如图5所示。信号强度的dB值与时频谱图中颜色条（colorbar）是对应的，通过colorbar非常直观地显示，时频谱图中躯干信号与四肢信号对应部分，实验将满足阈值条件小于-18 dB的信号保留，得到四肢信号的时频谱图，从而实现对微多普勒信号的分离，如图6所示，图中分别表示了男性测试者和女性测试者的四肢与躯干的时频谱图。01234-400-2000200400-35-30-25-20-15-10-5001234-400-2000200400-35-30-25-20-15-10-50K/sM(HzK/sM(Hz（a）女生1步态时频谱图（b）男生1步态时频谱图图5未进行微多普勒信号分离的时频谱图12345-400-200020040012345-400-2000200400K/sM(HzK/sM(Hz（a）女生1躯干时频谱图（b）男生1躯干时频谱图12345-400-200020040012345-400-2000200400K/sM(HzK/sM(Hz（c）女生1四肢时频谱图（d）男生1四肢时频谱图图6进行微多普勒信号分离的时频谱图由图5、图6可以看出，经过微多普勒信号分离后，测试者四肢的时频谱图更容易发现他们之间细微的差异，因此四肢的微动特征更加明显，更有利于实现人体身份的识别研究。3卷积神经网络3.1SqueezeNet网络卷积神经网络是一种特殊深层神经网络，广513雷达科学与技术第 21 卷 第 5 期泛应用于图像识别领域之中，具有特征提取和分类过程结合的全局训练特点，因此对图像有着相对准确的识别能力。本文用于时频谱图识别的卷积神经网络是轻量级的SqueezeNet网络，该网络主要的模块是Fire模块，如图7所示，此模块主要包含Squeeze层和Expand层，这使网络的参数大大降低，其网络配置如表 1所示，SqueezeNet网络的性能与AlexNet12相接近，但是模型参数仅有AlexNet的约1/60，模型大小也比AlexNet网络小得多。ExpandSqueezeConcat33e211e111S1HWM图7Fire模块的结构图7中，H是特征图的高，W是特征图的宽，M是特征图的通道数，S1,e1,e2均为卷积层输出的通道数。表1SqueezeNet网络配置表类别Conv1Pool1Fire2Fire3Pool3Fire4Fire5Pool5Fire6Fire7Fire8Fire9Drop9核函数/步长33/233/233/233/20.5输出1131136456566456561285656128282812828282562828256141425614143841414384141451214145121414512原始的 SqueezeNet网络最后 5层的配置是识别1 000个类别，而本文实测的数据集是对4个人进行人体身份识别，因此，迁移学习模式下的SqueezeNet网络仅需要保留到表1中的Drop9层。网络中最后一个可学习层即倒数第五层是1 1的卷积层，将其替换为4分类的新卷积层，最后输入到Softmax分类器中，对目标进行识别与分类。3.2Softmax分类器Softmax是机器学习中非常重要的工具之一，它还可以作为激活函数位于深度学习之中，Softmax 函数又称为归一化指数函数，由于本实验做的是多分类任务，即可以看作是二分类函数在分类任务上的推广，最后是将多分类结果通过概率的形式呈现出来。Softmax分类器将N维特征向量作为输入，然后将每一维的值转换成 0,1 之间的实数，其公式如下：pi=eaik=1Neak（1）式中，k(0,N，N是分类的个数，i是k中的某个分类，ai是该分类的值。由Softmax分类器输出的概率之和为 1，最终 Softmax分类器选取概率值最大的类别作为输出。4雷达实测数据结果分析4.1实验场景本实验采用K波段FMCW雷达，有4名测试者参与实验，采集测试者步态回波数据。该雷达在FMCW 模式下工作于 24 GHz，FMCW 雷达参数如表2所示。其中，有2名男性和2名女性，平均体重分别为70 kg/高185 cm和53 kg/高163 cm，年龄在2025岁之间。图8显示了实验场景，每名测试者的采集次数为100次，每次采集时间设定为6 s，测试总组数为100 4=400组。表2FMCW雷达参数参数载频带宽调频周期基带采样频率参数值24 GHz2 GHz1 ms256 kHz图8实验场景514孙延鹏：基于微多普勒信号分离和SqueezeNet的人体身份识别2023 年第 5 期4.2实验结果分析通过实验，每个人的步态数据总量为100个，数据主要经过STFT得到时频图像，因此本文把基于微多普勒的人体步态识别问题转化为图像识别问题，其中，SqueezeNet网络学习率为0.003，但是为了网络适应本实验所实测的数据集，将迁移学习的网络中新层的权重学习率因子和偏差学习率因子分别更改为20，其目的是加快迁移层的学习速度。为了评估本实验方法的分类性能，将数据集按照8 2的比例划分训练集和数据集，可以通过混淆矩阵看到实验结果。如图9和图10所示，横轴代表4个类别的预测值，纵轴代表4个类别的真实值，图中蓝色对角线区域表示分类正确的数量，粉色区域代表分类出错的个数，相比于未进行微多普勒信号分离的人体身份识别测试结果，完成微多普勒信号分离的人体身份识别测试结果的分类错误较少，图9表示的未进行微多普勒信号分离的人体身份识别准确率为 93.5%，而图 10表示的进行微多普勒信号分离的人体身份识别准确率为98.75%，由此可得，经过微多普勒信号分离后人体身份识别准确率提高了5.25%，因为人体步态的差异主要体现在走路四肢的差异。因此，实现微多普勒信号分离的研究方法，使肢体信号特征更明显，有利于增强人体身份识别的效果。*1*2*1*2M1*1*2*1*2,1#-K31120182017图9未进行微多普勒信号分离的测试结果120202019*1*2*1*2M1*1*2*1*2,1#-K图10进行微多普勒信号分离的测试结果4.3人体身份识别网络性能对比本文采用的人体身份识别网络是SqueezeNet轻量级网络，轻量级网络旨在保持模型精度基础上进一步减少模型参数量和复杂度，下面将SqueezeNet网络与文献 1114 中网络模型进行比较，比较结果如图11、图12所示。训练集的大小是影响人体步态识别性能的一个实际因素，在数据采集过程中，人体步态数据集的采集是一个费时费力的过程。在这种情况下，我们将训练集的规模占比分别设为 20%、40%、60%、80%，对4个网络进行性能比较。如图11所示，每个网络随着训练集占比减少，网络性能都在降低，这可能是因为步态训练数据过少时出现过拟合问题，但是SqueezeNet网络的性能还是优于其他网络。由柱状图可以看出，SqueezeNet网络在训练样本很少的时候也有较高的性能，在小样本学习中更占有优势。204060803+!%0102030405060708090100-(%SqueezeNetAlexNet 12ResNet-50 14CNN 15图11不同训练集性能比较与此同时，本文还通过其他方面对网络性能进行了比较，主要是通过测试时间、准确率、网络参数量这三方面，如图12所示，为了避免实验的偶然性，该数据是进行5次实验取平均。由折线图可直观看出，相对于其他网络，SqueezeNet网络测试时间是比较短的，能够在短时间内完成步态识别人体身份工作；其次是网络准确率方面，4个网络都有较高的准确率，但是本文使用的SqueezeNet网络还是略高一些；最后，每个网络的参数量还是差别很大的，AlexNet网络的参数量是SqueezeNet网络约68倍。由此可以得出结论，之于各方面因素的考虑，本文所提的SqueezeNet网络模型在雷达人515雷达科学与技术第 21 卷 第 5 期体身份识别方面优于其他模型。0100.721.331.352.4623.549.211.5593.7596.6797.0899.1760.972030405060708090100F44/-(%AKs44F+SqueezeNetAlexNet 12 ResNet-50 14CNN 15图12网络性能对比5结束语本文提出一种基于微多普勒信号分离和SqueezeNet的人体身份识别方法。对区分、识别不同行走的人方面有巨大的潜力。本文实现了微多普勒信号分离方法，实验结果表明，该方法的性能优于未进行微多普勒信号分离的人体身份识别方法。同时，本文通过采用轻量级SqueezeNet网络，已经实现了对4个人的分类与识别问题。虽然本文的实验结果是令人满意的，但仍需要做一些改进。一方面，我们将进一步增加步态数据集的规模和复杂性，例如增加测试者的人数以及不同动作；另一方面，我们需增强我们实验的应用性能，比如，同时进行多人身份识别以及拒绝未知身份的人员识别。参考文献：1YOON S,JAIN A K.Longitudinal Study of FingerprintRecognition J.Proceedings of the National Academy ofSciences,2015,112（28）:85558560.2 MANDEEP K,KAUR J.Review of Face RecognitionTechniques J.International Journal of Computer Applications,2017（6）:3135.3曹佳禾.基于毫米波雷达的身份识别技术研究 D.杭州：浙江大学，2021.4VANDERSMISSEN B,KNUDDE N,JALALVAND A,etal.Indoor Person Identification Using a LowPower FMCW RadarJ.IEEE Trans on Geoscience and RemoteSensing,2018,56（7）:39413952.5QIAO Xingshuai,FENG Yuan，SHAN Tan，et al.PersonIdentification with Low Training Sample Based on MicroDoppler Signatures Separation J.IEEE Sensors Journal,2022,22（9）:88468857.6RODRIGUES D V Q,LI Changzhi.Noncontact ExerciseMonitoring in MultiPerson Scenario with FrequencyModulated ContinuousWave Radar C/2020 IEEE MTTSInternational Microwave Biomedical Conference,Toulouse,France:IEEE,2020:13.7DONG Shiqi,XIA Weijie，LI Yi，et al.RadarBased Human Identification Using Deep Neural Network for LongTerm Stability J.IET Radar,Sonar&Navigation,2020,14（10）:15211527.8YANG Yang,HOU Chunping，LANG Yue，et al.PersonIdentification Using MicroDoppler Signatures of HumanMotions and UWB Radar J.IEEE Microwave and Wireless Components Letters,2019,29（5）:366368.9ADDABBO P,BERNARD M L,BIONDI F,et al.GaitRecognition Using FMCW Radar and Temporal Convolutional Deep Neural Networks C/2020 IEEE 7th International Workshop on Metrology for AeroSpace Pisa,Italy:IEEE,2020:171175.10OZTURK M Z,WU Chenshu，WANG Beibei.GaitCube:Deep Data Cube Learning for Human Recognition withMillimeterWave Radio J.IEEE Internet of Things Journal,2020,9（1）:546557.11CAO Peibei,XIA Weijie，YE Ming，et al.RadarID:Human Identification Based on Radar MicroDoppler Signatures Using Deep Convolutional Neural NetworksJ.IET Radar,Sonar&Navigation,2018,12（7）:729734.12QIAO Xingshuai,SHAN Tao，TAO Ran，et al.HumanIdentification Based on Radar MicroDoppler SignaturesSeparation J.Electronics Letters,2020,56（4）:195196.13NI Zhongfei,HUANG Binke.Human Identification Basedon Natural Gait MicroDoppler Signatures Using DeepTransfer LearningJ.IET Radar,Sonar&Navigation,2020,14（10）:16401646.14LANG Yue,WANG Qing,YANG Yang,et al.PersonIdentification with Limited Training Data Using RadarMicro Doppler SignaturesJ.Microwave and OpticalTechnology Letters,2019,62（3）:10601068.15LI Po,WANG Dechun,WANG Lu，et al.Separation ofMicroDoppler Signals Based on Time Frequency Filterand Viterbi Algorithm J.Signal,Image and Video Processing,2013,7（3）:593605.16蒋天丽.基于微多普勒雷达的人体动作及身份多任务识别 D.天津:天津大学，2019.17张翼，程永强，朱玉鹏，等.人体目标雷达回波建模 J.系统仿真学报，2011，23（3）:438445.（下转第525页）516韦旺：一种改进窗函数非线性组合法的旁瓣抑制性能研究2023 年第 5 期cific Conference on Synthetic Aperture Radar,Bali,Indonesia:IEEE,2021:15.9戴永鹏.超宽带MIMO雷达图像增强方法研究 D.长沙：国防科技大学,2021.10GALUSHKO V.On Application of Taper Windows forSidelobe Suppression in LFM Pulse CompressionC/2020IEEEUkrainianMicrowaveWeek,Kharkiv,Ukraine:IEEE,2020:9951001.11宁千千.抑制脉冲压缩旁瓣的算法研究 J.国外电子测量技术，2019，38（6）:5356.12PEI Jiazheng,HUANG Yong,GUAN Jian,et al.RobustAdaptive Pulse Compression Method Based on TwoStagePhase Compensation J.IEEE Trans on Geoscience andRemote Sensing,2022,60:118.13刘萍，邹林，周云,等.基于NLFM的超低旁瓣脉冲压缩方法研究 J.雷达科学与技术,2014,12（5）:527531.14刘金，宋红军.基于二次约束二次规划的窗函数设计方法 J.西安科技大学学报，2020，40（3）:458463.15ZHU D，DONG X,LIN W.Pulse Compression with VeryLow Sidelobes in a Spaceborne Weather RadarC/IGARSS 2008 IEEE International Geoscience and RemoteSensingSymposium,Nanjing,China:IEEE,2008:252255.16VAN ZYL A C,WIEHAHN E A,CILLERS J E,et al.Optimised MultiParameter NLFM Pulse CompressionWaveform for Low TimeBandwidth Radar C/International Conference on Radar Systems（RADAR 2022）,Hybrid Conference,Edinburgh,UK:IEEE,2022:289294.17LIU Xinyu,ZHANG Tianxian,SHI Qiao,et al.LPI Radar Waveform Design with Desired Cyclic Spectrum andPulse Compression Properties J.IEEE Trans on Vehicular Technology,2023,72（5）:16.18陈洪猛，李明，李响.一种高效快速的二相码旁瓣抑制算法 J.雷达科学与技术，2012，10（1）:4853.作者简介：韦旺男，2000年生，江苏淮安人，南京信息工程大学电子信息工程学院硕士研究生，主要研究方向为水声测试信号处理及成像技术。汪洁男，1988年生，河南商丘人，南京信息工程大学电子信息工程学院博士研究生，主要研究方向为微波毫米波天线、电磁散射与声散射理论与测试、雷达系统。朱琪女，2000年生，江苏徐州人，南京信息工程大学电子信息工程学院硕士研究生，主要研究方向为水声测试系统。缪文杰男，1999年生，江苏南通人，南京信息工程大学电子信息工程学院硕士研究生，主要研究方向为水声测试技术。葛俊祥男，1960年生，江苏南京人，南京信息工程大学雷达技术研究所所长，教授、博士生导师，主要研究方向为微波毫米波理论与技术、天线理论与技术、雷达系统。作者简介：孙延鹏男，1973年生于山东聊城，博士，教授、硕士生导师，主要研究方向为航空电子系统、电磁兼容设计、雷达信号处理、嵌入式系统应用。贺韶枫女，1997年生于山东烟台，硕士研究生，主要研究方向为雷达信号处理。屈乐乐男，1983年生于河南焦作，博士，教授、硕士生导师，主要研究方向为雷达信号处理与成像技术。（上接第516页）525