基于双视角时序特征融合的毫米波雷达手势数字识别研究.pdf

基于双视角时序特征融合的毫米波雷达手势数字识别研究冯 翔*刘 涛 崔文卿 吴沐府 李风从 赵宜楠(哈尔滨工业大学(威海)信息科学与工程学院 威海 264209)摘 要：疫情常态化背景下，非接触式人机交互在医疗、健康领域蕴藏着巨大的应用前景，其中利用手势识别方法实现非接触式的仪器操控逐渐成为研究热点。对此，该文提出一种利用毫米波雷达双视角时序特征融合来实现手势数字识别的方法，以提高手势识别的鲁棒性和准确性。首先，该文同步采集正面、侧面视角的毫米波雷达手势数字09的时序回波数据；接着，对各视角的数据进行预处理，实现杂波抑制、数据压缩；随后提取两方向的距离、速度的时序特征，并就特征的时间相关性构建嵌入注意力机制的双视角时序特征融合网络(ADVFNet)；最后，基于实测数据集完成了网络训练、时序特征融合、手势数字识别等步骤。实验结果表明，本文所提方法在实测数据集上识别准确率达到95%，网络收敛速度快、模型泛化能力好，与现有方法相比具有一定优势，为后续毫米波雷达人机交互提供了新思路。关键词：毫米波雷达；手势识别；双视角融合网络；注意力机制中图分类号：TN951文献标识码：A文章编号：1009-5896(2023)06-2134-10DOI:10.11999/JEIT220687Handwriting Number Recognition Based on Millimeter-wave Radarwith Dual-view Feature Fusion NetworkFENG Xiang LIU Tao CUI Wenqing WU Mufu LI Fengcong ZHAO Yinan(School of Information Science and Engineering,Harbin Institute of Technology,Weihai 264209,China)Abstract:Against the epidemic background,the contactless human-computer interaction has great applicationprospects in the medical and health field.Among them,using gesture recognition method to realize non-contactinstrument control is becoming the hotspot.To improve the robustness and accuracy,a method is proposed torealize the digital gesture recognition based on dual-view sequential feature fusion of millimeter-wave radars inthis paper.Firstly,time series echo data of gesture numbers 09 from positive and side perspectives arecollected synchronously.Secondly,datasets from different perspectives are preprocessed by implementing cluttersuppression and data compression.Furthermore,the Attention embedded Dual View Fusion Network(ADVFNet)is constructed based on the intrinsic correlation of temporal features.Finally,using the collecteddataset,the task of training network,fusing sequential feature,and recognizing digital gesture could becompleted.Experimental results show that the recognition accuracy of proposed method is about 95%,whichhas faster network convergence and better model generalization ability compared with several existing methods.Moreover,the method could provide a new idea for future human-computer interaction of millimeter-waveradars.Key words:Millimeter-wave radar;Gesture recognition;Dual-view fusion network;Attention mechanism 1 引言7781 GHz毫米波雷达具有捕获细微动作的能力，且能够工作在黑暗环境，相比激光、红外等具有独特优势。近年来，非侵入、非接触的毫米波雷达人体动作识别在人机交互、生活娱乐、健康医疗等领域得到重点关注13。其中，基于毫米波雷达的手势识别在智能操控、残疾人辅助信息传递等领域具有十分广阔的应用前景46。目前，多数毫米波雷达人体动作、手势动作识别方法往往先积累其回波数据，获取动作的距离、多普勒、角度等参数，得到各种特征谱图，然后将谱图输入卷积神经网络(Convolutional Neural 收稿日期：2022-05-27；改回日期：2022-10-05；网络出版：2022-10-11*通信作者：冯翔基金项目：山东省自然科学基金(ZR2019BF037)Foundation Item:The Natural Science Foundation of ShandongProvince(ZR2019BF037)第45卷第6期电 子 与 信 息 学 报Vol.45No.62023年6月Journal of Electronics&Information TechnologyJun.2023Network,CNN)进行识别710。文献11提出基于距离-多普勒谱图的手势识别方法，通过快速傅里叶变换、相干累积获取手势的特征图像，构建数据集并输入CNN训练、识别。文献12提出一种双流融合神经网络手势识别方法，利用2维傅里叶变换估计动作的瞬时距离、速度信息，同时利用多重信号分类方法计算角度，将手势动作映射为时序距离-速度图、角度-时间图，实现手势特征提取、融合；该方法能够兼顾多类特征图的特点来描述动作映射，但未考虑手势动作因雷达视角变化造成的通道间注意力不均问题。文献13提出基于调频连续波(Frequency Modulated Continuous Wave,FM-CW)雷达的多维参数CNN手势识别方法，引入多分支网络结构和高维特征融合方案，解决单维参数描述手势信息量低的问题。文献14提出基于多通道FMCW雷达的微动手势特征最优参数准则，设计固定帧时间长度拼接的距离-多普勒-时间图特征、距离-时间图特征、多普勒-时间图特征、水平角度-时间图特征及三者联合特征，根据手势动作的振幅、速度差异，利用轻量化CNN进行分类、识别。文献15提出基于串联式1维神经网络的毫米波雷达动态手势识别方法，利用1维卷积、池化操作提取手势特征，接入Inception v3结构、长短期记忆网络(Long Short Term Memory,LSTM)等来聚合1维特征，挖掘动态手势的帧间相关性，提高识别准确率、收敛速度。文献16针对雷达数据收集困难、少样本问题，提出基于元学习的3D CNN双通道融合特征提取网络，以捕获手势的时空特征。文献17提出基于快速傅里叶变换联合编码的5D特征立方体手势识别新方法，挖掘时间、距离、多普勒、方位角、俯仰角特征间的关联性，设计了时空可变形卷积块、自适应时空上下文卷积块，以增强目标特征表示。然而，上述基于单视角雷达数据的识别方法具有局限性，难以全面表述手势的空间联动性、相关性；对于复杂手势动作的感知与识别，单视角观测效果可能会大打折扣。医疗健康领域中，使用毫米波雷达实现非接触式的仪器操控是重要的研究方向之一，十分考验手势识别的稳健性、高效性。对此，本文提出一种基于双视角时序特征融合的毫米波雷达手势数字识别方法，具有以下创新点：(1)相对于单视角雷达数据，同时利用两个视角的雷达数据可获得更加丰富的时空信息。本文分别获得正、侧方向的时序距离、时序速度特征，输入双向LSTM网络实现特征的提取与融合；(2)注意力机制的引入使每个时间步长的特征获得不同的权重，使网络学习到更有效的特征，也能在单雷达情况下合理融合跨域特征；(3)双视角模型中雷达探测方向相互垂直，利用正面的距离-时间特征矩阵(Positive Range TimeMatrix,PRTM)与侧面的距离-时间特征矩阵(SideRange Time Matrix,SRTM)数据，经过坐标提取、联合，实现手势数字的平面轨迹展示，增强了人机交互的可视化效果。2 雷达回波数据处理与特征提取 2.1 雷达回波数据的时序特征提取ST(t)ATfcK如式(1)所示，设表示发射信号，表示信号幅值，为载波频率，为频率调制斜率，则线性调频连续波信号可表示为ST(t)=ATcos(2fct+2t0Kd)(1)K=B/TBTt其中，表示信号带宽，为Chirp周期。目标的反射信号由接收天线捕获，经过时间延迟的接收信号可表示为SR(t)=ARcos(2fc(t t)+2t0(K(t)+f)d)(2)f=2v/v其中，为目标运动速度 产生的多普勒频移，为波长。接收信号被依次送入混频器、低通滤波器，得到中频信号SIF(t)=12ARATcos(2fct+2Ktt 2ft)(3)fTfRtd=fIF/KfIF=fRfT若FMCW雷达发射信号频率为，接收频率变化至，传播时间为，这里为差拍频率，雷达与目标间的距离可表示为d=12(fIFc/K)(4)v本文采用非相参积累方法，将相邻50个Chirp数据平均后得到单Chirp数据以减小随机噪声影响。通过对每个Chirp进行1维快速傅里叶变换，可获取每个Chirp的目标距离信息18。之后将所有Chirp按时序进行排列，得到距离-时间特征矩阵(Range Time Matrix,RTM)。因FMCW雷达每个Chirp时间很短，对于运动目标，1帧数据中的每个Chirp都会在同一位置出现峰值，但其相位不同。因此利用相位差可求得目标的移动速度，表示为v=/4T(5)其中，为相位差。进一步地，通过对添加汉明第6期冯 翔等：基于双视角时序特征融合的毫米波雷达手势数字识别研究2135窗的每一帧数据进行2维快速傅里叶变换，可得到距离-多普勒图；对每一帧的距离-多普勒图利用谱峰搜索得到手势的多普勒幅值，按帧累积得到速度-时间特征矩阵(Velocity Time Matrix,VTM)，而PVTM,SVTM分别表示毫米波雷达采集的正面、侧面的速度-时间特征矩阵。图1显示了经过回波处理与特征提取后得到的手势数字的时序特征图，最后一行显示实验时手部的移动轨迹。2.2 噪声抑制因发射天线与接收天线的耦合作用，雷达近处存在强烈的信号分量且处于低频，常采用高通滤波器滤除低频分量。实验中手部的运动范围大致为正侧雷达朝向的平面区域，手臂、躯干等部位处在雷达视角之外，其产生的干扰较小。若采集的数据中仍存在较强的躯干回波，考虑到躯干与手在RTM中具有一定的间隔，可采用具有合适边界频率的带通滤波器予以滤除。此外，天线耦合干扰易在雷达近处形成虚假静止目标，而实验者的躯干由于距离变化小也视为静止目标，从而可采用平均相消法去除静止目标干扰、提取手部信号。该方法对接收到的所有Chirp信号进行平均，得到参考Chirp信号，再将原始的每一个Chirp减去该信号，即得到运动目标的回波信号。若手部相对雷达的距离在一段时间内变化较小时，手部反射信号可能由于平均相消法受到较大衰减，对此，本文采用平均相消法与带通滤波灵活结合的方式去除干扰信号。3 双视角数据融合网络模型 3.1 双向长短期记忆网络LSTM网络是一种捕捉长时依赖特征的特殊循环神经网络，相比常规循环神经网络增加了3个门结构和细胞状态，能够选择保存信息或遗忘信息，而其特殊结构解决了梯度弥散、梯度爆炸问题19,20。图2为双向LSTM的结构，其能够同时训练输入时间序列的正向、反向两个样本，并将对应时刻的特征进行拼接得到最终特征。数字手势在不同时间节点上手的空间位置、运动速度存在紧密的关联特性，因此使用双向LSTM网络能够充分挖掘输入数据在时间维度的相关性。初步提取得到的手势时序特征RTM,VTM十分贴合LSTM的输入特性，且不再需要卷积神经网络对每一帧的谱图进行特征提取，减少了网络训练的计算量。3.2 注意力机制为最大限度地提高特征组合的自由度，本文引入注意力机制21,22。首先将双向LSTM在所有时刻的隐层输出在时间步长维度、特征维度进行转置后，利用输出维度大小为时间步长的全连接层学习每个输入特征，获得在每一个时间步长上的权重，该权重经过转置后便得到了每个时间节点上不同特征的权重，即注意力分数，表示为Scoreatt=softmaxT(dot(T,kernel)(6)图 1 手势数字的雷达时序特征图2136电 子 与 信 息 学 报第 45 卷Scoreattdot()Tkernel其中，表示注意力分数，表示全连接层中的点乘运算，表示LSTM隐层输出的转置，是全连接层生成的权重矩阵。将该分数与对应时间节点上的特征相乘，获得具有权重的特征组合，表示为att=multiply(,Scoreatt)(7)使用该机制可使网络着重学习有效时间节点上的特征，减小不重要或有干扰信息的时间节点的影响，进一步实现时序特征的高效融合。3.3 嵌入注意力机制的双视角时序特征融合网络本文所用的嵌入注意力机制的双视角时序特征融合神经网络ADVFNet，由两支并行的双向LSTM网络、特征融合层、两层全连接层构成，结构如图3所示，模型参数如表1所示。两视角的时序数据首先经过嵌入注意力机制的双向LSTM网络分支得到深层特征，随后，特征融合层将两视角的特征进行融合，最后送至全连接层完成分类。4 实验分析与讨论 4.1 实验环境本节使用TI公司的IWR1443boost毫米波雷达与DCA1000数据采集卡，回波数据传输至PC终端进行数据解析与处理。实验环境为半开放微波暗室，雷达参数配置如表2所示。在正向、侧向雷达拥有相同的调频斜率情况下，同时启动的两雷达可能会出现互扰；该问题可通过对两雷达设置频段分离来解决，即将正向雷达起始频率设置为77 GHz，侧向雷达起始频率设置为79 GHz，两雷达均具有2 GHz带宽。4.2 数据集构建与数据增强图4为雷达采集场景示意图，实验中手势运动 图 2 双向LSTM网络工作原理与细胞内部结构 图 3 ADVFNet网络结构第6期冯 翔等：基于双视角时序特征融合的毫米波雷达手势数字识别研究2137范围近似为边长20 cm的正方形平面区域，其中心离正向雷达与侧向雷达50 cm左右。考虑到数据增强方法可提高模型的泛化能力，本文采用的数据增强手段包括：30内的随机旋转，30%占比之内的随机上下平移，30%占比之内的随机左右平移。随机旋转RTM可模拟出目标相对于雷达的角度变化，上下平移RTM可模拟出实验目标相对于雷达的径向距离变化，在水平方向的平移则可体现手势采集在时间上的变化情况。因此，使用数据增强得到的网络模型对时空差异的手势具有良好的抗干扰识别能力。实验最终得到PRTM与SRTM各10 000张，PVTM与SVTM各10 000张。随机划分8 000张作为训练集，2 000张作为测试集。4.3 利用双向RTM刻画手势轨迹手写数字识别中手的运动轨迹是直观且重要的信息。对单雷达而言，通过对目标的距离与角度的联合能够实现轨迹重构，然而，精确提取手的角度信息难度较大。实验中发现，本文实验场景下手势表 1 网络具体参数说明类型输入尺寸输出尺寸说明正向输入(Postive Input)(1281281)侧向输入(Side Input)(1281281)双向LSTM(Bi-LSTM)(128128)(128128)units=64注意力模块(Attention Module)(128128)(128128)相乘层(Multiply)(128128);(128128)(128128)平铺层(Flatten)(128128)16 384Activation=ReLU特征融合层(Add)16 384;16 38416 384Dropout=0.3全连接层1(Dense)16 384256Activation=ReLU全连接层2(Dense)25610Activation=Softmax表 2 雷达参数配置参数数值参数数值发射天线数(个)1帧周期(ms)20接收天线数(个)4Chirp数(个)128带宽(GHz)2采样点数(个)64调频斜率(MHz/ms)50帧数(个)100采样率(MHz)2距离分辨率(cm)7.5 图 4 雷达数据采集场景示意图2138电 子 与 信 息 学 报第 45 卷xyr运动生成的RTM中所反映的手与雷达的径向距离非常接近手与雷达的纵向距离，而手相对于雷达的横向距离对其影响很小，可由图1中数字1的SRTM体现。经过分析，该现象是在特定的手与雷达的空间位置关系下发生的：设手部与雷达横向距离为，纵向距离为，径向距离为，由勾股定理计算出对应的径向距离与纵向距离绝对差值，记为AD，将相对差值记为RD。表3记录了在不同位置下的AD和RD。由表3分析知，本文实验场景下，将RTM上的距离近似为手与雷达的纵向距离带来的最大相对误差仅在3%左右，因此可将RTM上显示的径向距离替代为纵向距离，而无需角度计算，仅利用双向RTM重建手势轨迹。当手与雷达之间的距离越远时，该距离近似方法产生的误差越小；但与之矛盾的是此时目标回波强度下降，轨迹相对模糊。因此，这里推荐雷达与手处于4060 cm距离范围，此时两者均达到了较理想的效果。MpMsM(m,n)nmn另外，对于同一个手势，提取的PRTM与SRTM在时间上是相互对应的，分别记为与。矩阵中任一元素值的大小反映了在第 个时间节点上距离雷达个距离单元处的信号强度，其值越大说明此时该距离上越可能存在目标。通过峰值搜索，即寻找时间节点 上最大值出现的行索引以代替此刻的目标距离；为尽可能减少噪声的影响，本文使用滑动平均窗口完成每个时间单元的峰值搜索，表示为yn=argmaxm(Mwin),Mwin=mean(M(i,n),M(i+1,n),.,M(i+Lwin,n),i=1,2,.,r Lwin(8)Lwinmean()rMpMsx1,x2,.,xry1,y2,.,yr(x1,y1),(x2,y2),.,(xr,yr)其中，是滑动窗口的长度，本文取5个距离单元，为均值函数，为离散时间点数。对,进行以上操作，分别得到横坐标时间序列及纵坐标时间序列，联合得到的即手移动轨迹的平面坐标时间序列。实验过程中某些时刻RTM上的强度很弱，造成提取坐标的漂移、抖动，对轨迹刻画产生较大影响。真实的轨迹变化是连续且平滑的，由此本文对提取到的时序坐标序列进行了中值滤波，最终重建的数字轨迹图像如图5所示。从轨迹图中可较为直观地分辨数字，但该方法中轨迹构成对雷达数据采集的完整性与质量要求较高。为更稳健地完成识别任务，本文基于双向RTM与VTM数据利用ADVFNet实现手势数字识别。4.4 网络训练与实验结果分析本文将RTM与VTM大小统一为128128，送入ADVFNet进行训练。训练批次大小设置为32，学习率设置为0.001，损失函数为分类交叉熵，评价准则为准确率，使用Adam优化器，数据训练200个epoch。训练之前，RTM与VTM都进行了归一化处理并随机打乱顺序。本文使用t-SNE降维方法分别对原始输入与ADVFNet中第1个全连接层的输出进行高维特征可视化处理，共导入10类共800个样本，特征分布如图6所示，可观察到原始时序数据的特征分布非常杂乱，而样本通过嵌入注意力机制的双向LSTM网络与256维的全连接层后，特征已明显聚为10簇且每簇中心相距较远，证明了网络提取得到的特征可分性良好。本文将训练好的网络模型保存，随机抽取一组手势数字的PRTM与SRTM，将其注意力分数导出，并对每个时间节点上的权重进行平均，最终得表 3 不同情况下的纵向距离与径向距离的绝对差值与相对差值x(cm)y=40 cmy=50 cmy=60 cmr(cm)AD(cm)RD(%)r(cm)AD(cm)RD(%)r(cm)AD(cm)RD(%)040.0000050.0000060.00000140.0120.0120.03150.0100.0100.02060.0080.0080.014240.0490.0490.12450.0400.0400.08060.0330.0330.056340.1120.1120.28050.0900.0900.18060.0750.0750.125440.1990.1990.49850.1600.1600.31960.1330.1330.222540.3110.3110.77850.2490.2490.49960.2080.2080.347640.4470.4471.11850.3590.3590.71760.2990.2990.499740.6070.6071.51950.4880.4880.97560.4070.4070.678840.7920.7921.98050.6360.6361.27260.5310.5310.885941.0001.0002.50050.8040.8041.60760.6710.6711.1191041.2311.2313.07750.9900.9901.98060.8280.8281.379第6期冯 翔等：基于双视角时序特征融合的毫米波雷达手势数字识别研究2139到注意力权重分布情况如图7所示。由图可知，对于PRTM与SRTM，在不同时刻上注意力的权值大小存在明显差异，相比于动作时间起点与末端，更多的注意力分布在手势活动的中间部分，应用该机制可以实现自动的时序特征增强。在2000张测试集上的实验结果如表4所示，区别于ADVFNet，本文将未使用注意力机制的双视角时序特征融合网络以DVFNet表示，Bi-LSTM即双向LSTM,Bi-LSTM+Attention适用单向时序特征，即为ADVFNet中的一个分支。图8为ADVFNet分别融合双向RTM与双向VTM的识别结果混淆矩阵。分析实验结果可知：(1)未引入注意力机制时，融合双向的RTM比仅有PRTM输入与仅有SRTM输入分别提高了7.59%与12.20%；融合双向的VTM比仅使用SVTM准确率显著提高了16.50%，但较仅使用PVTM下降了3.60%，这是由于PVTM与SVTM的数据质量存在较大差异，此时特征的简单融合引入了部分干表 4 手势识别准确率(%)输入特征网络类型平均准确率输入特征网络类型平均准确率PRTMBi-LSTM84.95PVTMBi-LSTM94.55SRTMBi-LSTM80.34SVTMBi-LSTM74.45PRTM+SRTMDVFNet92.54PVTM+SVTMDVFNet90.95PRTMBi-LSTM+Attention88.45PVTMBi-LSTM+Attention94.60SRTMBi-LSTM+Attention86.59SVTMBi-LSTM+Attention87.00PRTM+SRTMADVFNet95.30PVTM+SVTMADVFNet96.80 图 5 双视角RTM融合重建09手势数字轨迹结果 图 6 t-SNE可视化特征分布图 图 7 时间注意力分布图2140电 子 与 信 息 学 报第 45 卷扰信息。而引入注意力机制后，ADVFNet融合双向RTM比仅有PRTM输入与仅有SRTM输入分别提高了6.85%与8.71%，达到95.30%的准确率；而ADVFNet融合双向VTM的准确率比仅使用PVTM提高了2.20%，比仅使用SVTM提高了9.8%，达到了96.80%的准确率。该结果证明融合正侧面两个雷达视角的时序特征带来了更加丰富的信息，可以有效提升手写数字的识别准确率。(2)对于RTM，引入注意力机制使得识别准确率在PRTM上取得了3.5%的提高，在SRTM上取得了6.25%的提高，在同时输入PRTM与SRTM时也达到2.76%的提升；对于VTM，引入注意力机制使得识别准确率在PVTM上取得了0.05%的提高，在SVTM上取得了12.55%的巨大提升，在同时输入PVTM与SVTM时也取得5.85%的提升。这说明注意力机制的引入使两个并行的网络分支之间进行了特征权重的交互分配，使特征融合更加合理有效，从而显著提升了网络模型的识别能力。ADVFNet旨在实现两个方向的时序特征融合，考虑到多数情况下只有一个方向的雷达时序数据，因此本文将单向距离与速度时序特征作为ADVFNet的输入进行测试，并构造了单个分支，与文献23相同的双流卷积神经网络结构进行对比，以考察单向情况下ADVFNet网络的识别性能，结果如表5所示。由表可观察到ADVFNet的识别准确率与网络收敛速度相比双流卷积神经网络均有一定的提升；该对比结果表明本文设计的网络结构同样具有将跨域特征高效融合的能力，能够在单雷达场景下出色地完成手势识别任务。5 结束语本文提出一种基于双视角毫米波雷达时序特征融合实现手势数字识别的方法，并通过对两个方向的RTM进行坐标提取与联合展现了重建手势数字轨迹的可能性。本文建立了双向的09的手势时序距离、速度数据集，构建了ADVFNet，使得模型高效融合了两个视角的手势时序信息，并利用数据增强手段显著增强了网络的泛化能力，提高了手势识别的准确性和鲁棒性。此外，实验结果表明ADVFNet同样具有跨域特征高效融合的能力，能够适应单雷达多特征融合情形。考虑到雷达实际工作场景更加复杂，后续研究将加强模型对躯干、手臂等无关信号以及环境噪声的抗干扰评估，进一步改善基于毫米波雷达的人机交互应用效果。表 5 在单视角下ADVFNet的识别准确率输入网络类型平均准确率(%)训练时长(ms/step)SRTM+SVTM双流卷积神经网络89.95323PRTM+PVTM双流卷积神经网络92.65320SRTM+SVTMADVFNet93.7057PRTM+PVTMADVFNet95.1258 图 8 双视角时序特征融合识别结果混淆矩阵第6期冯 翔等：基于双视角时序特征融合的毫米波雷达手势数字识别研究2141参 考 文 献LI Xinyu,HE Yuan,FIORANELLI F,et al.Semisupervisedhuman activity recognition with radar micro-DopplersignaturesJ.IEEE Transactions on Geoscience andRemote Sensing,2022,60:5103112.doi:10.1109/TGRS.2021.3090106.1EROL B and AMIN M G.Radar data cube processing forhuman activity recognition using multisubspace learningJ.IEEE Transactions on Aerospace and Electronic Systems,2019,55(6):36173628.doi:10.1109/TAES.2019.2910980.2冯心欣,李文龙,何兆,等.基于调频连续波雷达的多维信息特征融合人体姿势识别方法J/OL.电子与信息学报,19.https:/ Xinxin,LI Wenlong,HE Zhao,et al.Multi-dimensional information feature fusion for posturerecognition based on frequency modulated continuous waveradarJ/OL.Journal of Electronics&InformationTechnology,19.https:/ Zhenyuan,TIAN Zengshan,and ZHOU Mu.Latern:Dynamic continuous hand gesture recognition usingFMCW radar sensorJ.IEEE Sensors Journal,2018,18(8):32783289.doi:10.1109/JSEN.2018.2808688.4SKARIA S,AL-HOURANI A,LECH M,et al.Hand-gesture recognition using two-antenna Doppler radar withdeep convolutional neural networksJ.IEEE SensorsJournal,2019,19(8):30413048.doi:10.1109/JSEN.2019.2892073.5HAZRA S and SANTRA A.Robust gesture recognitionusing millimetric-wave radar systemJ.IEEE SensorsLetters,2018,2(4):14.doi:10.1109/lsens.2018.2882642.6FAN Teng,MA Chao,GU Zhitao,et al.Wireless handgesture recognition based on continuous-wave Doppler radarsensorsJ.IEEE Transactions on Microwave Theory andTechniques,2016,64(11):40124020.doi:10.1109/TMTT.2016.2610427.7CRISSTOMO DE CASTRO FILHO H,ABLIO DECARVALHO JNIOR O,FERREIRA DE CARVALHO OL,et al.Rice crop detection using LSTM,Bi-LSTM,andmachine learning models from Sentinel-1 time seriesJ.Remote Sensing,2020,12(16):2655.doi:10.3390/rs12162655.8SHRESTHA A,LI Haobo,LE KERNEC J,et al.Continuous human activity classification from FMCW radarwith Bi-LSTM networksJ.IEEE Sensors Journal,2020,20(22):1360713619.doi:10.1109/JSEN.2020.3006386.9SUN Yuliang,FEI Tai,LI Xibo,et al.Real-time radar-based gesture detection and recognition built in an edge-computing platformJ.IEEE Sensors Journal,2020,20(18):1070610716.doi:10.1109/JSEN.2020.2994292.10王俊,郑彤,雷鹏,等.基于卷积神经网络的手势动作雷达识别方法J.北京航空航天大学学报,2018,44(6):11171123.doi:10.13700/j.bh.1001-5965.2017.0397.WANG Jun,ZHENG Tong,LEI Peng,et al.Hand gesturerecognition method by radar based on convolutional neuralnetworkJ.Journal of Beijing University of Aeronautics andAstronautics,2018,44(6):11171123.doi:10.13700/j.bh.1001-5965.2017.0397.11王勇,王沙沙,田增山,等.基于FMCW雷达的双流融合神经网络手势识别方法J.电子学报,2019,47(7):14081415.doi:10.3969/j.issn.0372-2112.2019.07.003.WANG Yong,WANG Shasha,TIAN Zengshan,et al.Two-stream fusion neural network approach for hand gesturerecognition based on FMCW radarJ.Acta ElectronicaSinica,2019,47(7):14081415.doi:10.3969/j.issn.0372-2112.2019.07.003.12王勇,吴金君,田增山,等.基于FMCW雷达的多维参数手势识别算法J.电子与信息学报,2019,41(4):822829.doi:10.11999/JEIT180485.WANG Yong,WU Jinjun,TIAN Zengshan,et al.Gesturerecognition with multi-dimensional parameter using FMCWradarJ.Journal of Electronics&Information Technology,2019,41(4):822829.doi:10.11999/JEIT180485.13夏朝阳,周成龙,介钧誉,等.基于多通道调频连续波毫米波雷达的微动手势识别J.电子与信息学报,2020,42(1):164172.doi:10.11999/JEIT190797.XIA Zhaoyang,ZHOU Chenglong,JIE Junyu,et al.Micro-motion gesture recognition based on multi-channelfrequency modulated continuous wave millimeter waveradarJ.Journal of Electronics&Information Technology,2020,42(1):164172.doi:10.11999/JEIT190797.14靳标,彭宇,邝晓飞,等.基于串联式一维神经网络的毫米波雷达动态手势识别方法J.电子与信息学报,2021,43(9):27432750.doi:10.11999/JEIT200894.JIN Biao,PENG Yu,KUANG Xiaofei,et al.Dynamicgesture recognition method based on millimeter-wave radarby one-dimensional series neural networkJ.Journal ofElectronics&Information Technology,2021,43(9):27432750.doi:10.11999/JEIT200894.15SHEN Xiangyu,ZHENG Haifeng,FENG Xinxin,et al.ML-HGR-Net:A meta-learning network for FMCW radar basedh