基于域自适应的Wi-Fi手势识别方案.pdf

引用格式：孙北晨，许志猛，陈良琴，等基于域自适应的 Wi-Fi 手势识别方案J.微电子学与计算机，2023，40（10）：38-47SUN B C，XU Z M，CHEN L Q，et al.Wi-Fi gesture recognition scheme based on domain adaptiveJ.Microelectronics&Computer，2023，40（10）：38-47.DOI：10.19304/J.ISSN1000-7180.2022.0766基于域自适应的 Wi-Fi 手势识别方案孙北晨，许志猛，陈良琴，郑勤（福州大学 物理与信息工程学院,福建 福州 350108）摘要：基于 Wi-Fi 的手势识别技术在智慧医疗、智能家居、工业生产、游戏交互等领域中有着广阔的应用前景,然而在实际应用中,一个在原用户(源域)数据集上训练得到的手势识别模型应用于新的用户(目标域)时准确率会显著下降.为了解决这一问题,提出了一种应用于 Wi-Fi 的域自适应手势识别方案.首先,使用一种新的轻量级卷积神经网络对源域数据预训练；然后,设计一种新的域自适应网络进行无监督迁移学习,引入了相关对齐损失将源和目标域深度特征的二阶统计量对齐,并使用中心损失提高特征的可判别性,使类内聚合、类间分散.实验证明提出的方案用于识别新用户手势动作具有很好的效果.在用户变化的情况下,所提方案将手势识别平均准确率从 62.7%提升至 90.2%,可以显著提升用户变化时 Wi-Fi 手势识别的鲁棒性.关键词：手势识别；深度学习；深度域适应；信道状态信息中图分类号：TN391；TN92 文献标识码：A 文章编号：1000-7180（2023）10-0038-10Wi-Fi gesture recognition scheme based on domain adaptiveSUN Beichen，XU Zhimeng，CHEN Liangqin，ZHENG Qin（College of Physics&Information Engineering,Fuzhou University,Fuzhou 350108,Fujian,China）Abstract：Wi-Fi-based gesture recognition technology has broad application prospects in smart medical,smart home,industrial production,game interaction,etc.However,in practical applications,the accuracy of Wi-Fi-based gesturerecognition will be significantly reduced when a gesture recognition model trained on a dataset from original users(sourcedomain)has been applied to a new user (target domain).In order to solve this problem,a domain adaptive gesturerecognition scheme for Wi-Fi is proposed.First,a new lightweight convolutional neural network is proposed for pre-training the source domain.Then,a new domain adaptive network is designed for unsupervised transfer learning which usesthe correlation alignment loss to align the second-order statistics of the source and target domain depth features as well asuse center loss to improve the discriminability of features to realize aggregate within classes and scattered between classes.Experiments demonstrate that the scheme proposed in this paper works well for recognizing the hand gesture actions of newusers.When the user changed,the scheme proposed in this paper improves the action recognition average accurate rate from62.7%to 90.2%,which can significantly enhance the robustness of Wi-Fi gesture recognition across users.Key words：Gesture recognition；Deep learning；Deep domain adaptation；Channel state information 1引言手势识别是一种融合先进感知技术与模式识别技术的新型人机自然交互技术,可以实现对包括计算机、仪器仪表在内的各种设备的非接触式操作,在智能家居、工业生产领域和医疗服务等应用场景有着 收稿日期：2022-11-22；修回日期：2023-01-12基金项目：国家自然科学基金（62071125）；福建省自然科学基金（2021J01581、2018J01805）；福州市科技创新平台项目（2022-P-002）；福州大学科研基金（GXRC-18083）40 卷 第 10 期微 电 子 学 与 计 算 机http:/Vol.40No.102023 年 10 月MICROELECTRONICS&COMPUTEROctober 2023广泛的应用.常见的手势识别方案主要有基于摄像头1、可穿戴设备、雷达2和超声波3等方式.近年来,基于 Wi-Fi 的人体动作识别技术4以其具有隐私保护性强、无需佩戴设备以及可充分利用广泛普及的 Wi-Fi 设备的特点,受到了研究者们的广泛关注,成为了手势识别的又一种重要实现方案.Wi-Fi 无线感知技术的基本原理是通过分析人体活动等环境因素对空间中 Wi-Fi 无线电波传播的影响来实现信息感知.通过提取 Wi-Fi 设备中的信道状态信息(ChannelState Information,CSI)可以获取用以刻画 Wi-Fi 信号传输环境特性的信道频率响应,进而能够实现对人体的位置、动作、手势和日常活动的识别5.这一类识别方案通常需要先提取 CSI 的统计特征,然后再通过机器学习方案训练分类器模型实现对人体动作的识别6.随着深度学习在计算机视觉和自然语言处理等方面的迅速发展,利用深度神经网络来实现 CSI 的识别已成当前发展的趋势7.当前基于 Wi-Fi 的无线感知研究中较少考虑到人体及环境对识别性能的影响.然而,由于不同的用户的人体特征和行为习惯不同,即使进行同一类活动所引起 Wi-Fi 信号波动也会有很大的不同.此外,Wi-Fi 信号在传播的过程中由于反射、衍射或散射,使其对环境的变化很敏感.因此,对于 Wi-Fi 手势识别而言,不同的被测对象和环境对识别准确率有较大的影响.为了描述这一问题,我们使用“域”这个术语来描述与人体动作无关的因素(环境、用户).一般情况下基于 Wi-Fi 的手势识别模型在源域(原有环境或用户)训练后应用于目标域(新环境或用户)时性能会明显下降,即跨域问题.为了解决这一类问题,EI8和 JADA9两种方案均采用了对抗域适应,通过生成器与鉴别器的极小极大博弈减小域差异.以上两种方案均基于生成式对抗网络,但生成式对抗神经网络通常难以训练,在实际应用中很难推广.DANGER10提出了一种针对CSI 数据的域适应手势识别方案,该方案先使用生成对抗网络对 CSI 样本进行数据增强,然后使用最大均值差异(Maximum Mean Discrepancy,MMD)减小域间分布差异.但这种方案需要对每个新的目标域都进行数据增强,然后再进行域自适应训练,步骤复杂.Widar3.011通过生成身体速度刨面(BVP)来训练一个适合所有场景和人物的模型.考虑到其需要六个发送-接收链路来计算 BVP,在实际应用场景下通常无法实现.在手势的跨域识别问题中,由用户的变化带来的影响更为明显,不同的用户会导致 CSI 的幅度完全不同.SignFi12和 FallDeFi4的实验表明,一个应用于原有用户的模型,在应用于新的用户时性能大幅下降.针对新用户手势的识别,CSIGAN13使用半监督对抗网络进行域适应,通过引入补充生成器和流形正则化方法实现了对不同用户手势的跨域识别.但是实际应用中,由终端采集的数据是没有标签的,采用半监督的训练方式还需要人工标记新用户的动作样本,使用不方便.综上所述,跨域问题已成为基于 Wi-Fi 的手势识别的一个重要瓶颈和难点.尽管已有一些研究试图解决这一问题,但是这些方法还存在许多不足,比如难以训练、步骤复杂、可应用性不强、需要额外的样本等.针对以上问题,本文提出了一种基于改进域适应网络的手势识方案.改进的域适应网络使用在图像领域中的相关对齐(Correlation Alignment,CORAL)14方法,将原有用户作为源域,新用户作为目标域,利用源域的带标签数据和目标域的无标签数据域自适应训练,将源和目标域深度特征的二阶统计量对齐.一些基于最大均值差异的域适应方法如DDC15、DAN16,也可以实现无监督预适应,但 CORAL 有着更强的性能,更易训练并且更方便插入到神经网络中.同时,使用中心损失函数17学习更具判别性的特征,使类间距离最大化、类内距离最小化.在识别新用户手势时,只需获取少量新用户无标签数据,即可实现高准确率识别,显著提升新用户手势的识别准确率.本文主要工作：1)在基于 Wi-Fi 的感知技术中引入 CORAL 损失.通过实验证明了 CORAL 在 Wi-Fi 跨域手势识别方面有非常好的效果.2)引入了中心损失,使神经网络在对齐源和目标域分布的同时,使类内聚合、类间分散,提高特征的可判别性.3)针对新用户的跨域情况,提出了一种新的针对 CSI 数据的可以对齐分布和优化类中心的无监督域自适应方案,有效地解决了无标签条件下针对不同用户的手势识别问题.2域自适应学习方法 2.1方法概述图 1 为 Wi-Fi 手势识别流程,发射端和接收端之间为检测空间,用户在检测空间做出手势时对 Wi-Fi信号的影响会反映在 CSI 中,采集 CSI 并输入分类模型即可对用户手势进行识别.但是,由图 1 可以观察第 10 期孙北晨，等：基于域自适应的 Wi-Fi 手势识别方案39 到,用户变化时,同一动作产生的 CSI 波形存在较大差异,这种差异导致了手势模型在用户变化(也称跨域)时性能下降.在实际应用中因隐私问题通常只能获取新用户的无标签标签数据,无法获取有标签数据进行有监督学习,为了解决这一问题本文提出了一种域自适应识别方案,如图 2 所示,其处理流程包含三个阶段.在预训练阶段中,将源域(原用户)数据送入一种新的针对 CSI 的一种轻量级的卷积神经网络训练.在域适应阶段中,将目标域(新用户)无标签数据和源域数据同时送入一种本文提出的新的域适应网络,实现无监督的域适应训练.最后,在测试阶段,本文利用域适应训练后的神经网络对目标域数据进行分类.分类模型发射端接收端用户 A“请求”手势 CSI 波形(前 10 子载波)用户 B“请求”手势 CSI 波形(前 10 子载波)数据包幅度用户 B用户 ACSI 收集“请求”手势CSI00100200300100200数据包幅度0050100150100200图 1Wi-Fi 手势识别流程Fig.1 Wi-Fi gesture recognition process 预训练阶段域适应训练阶段源域样本源域样本目标域样本目标域样本测试阶段源域编码器源域编码器目标域编码器目标域编码器分类标签分类标签分类标签源域分类器源域分类器目标域分类器目标域分类器域适应图 2方法总体框架Fig.2 Overall framework of the scheme 本文所提跨域手势识别方案的原理如图 3 所示.其中图 3(a)对应于预训练后的分类情况,图中蓝色和红色分别代表源域和目标域的数据,三角形和圆形分别代表两类特征.通过卷积神经网络可以得到源和目标域的深度特征,但此时在源域训练的模型所得超平面不能区分目标域 CSI 特征,原因是域间分布差异过大.图 3(b)和图 3(c)两个步骤对应于域适应阶段.在图 3(b)中,通过最小化 CORAL 距离实现对齐分布,但由于 CSI 特征距离类中心较远,超平面依然容易划分错误.因此在图 3(c)中,进一步通过优化中心损失函数,最小化类内距离并最大化类间距离,使得超平面能够很好的将两类 CSI 特征区分开.2.2预训练阶段 2.2.1CSI 数据的处理本文采用的 CSI 数据是从普通商用 Wi-Fi 网卡中提取的,每一组 CSI 代表一个正交频分复用子载波40微电子学与计算机2023 年的幅度和相位,其基本表达式为：Hl=|Hl|ejHl（1）lej()|Hl|HllKKNTXNRXNTXNRXT KNTXNRXT式中,为子载波的序号;为复指数信号;,分别表示第 个子载波的幅度和相位.若取个子载波的 CSI 信息进行识别,则每一时刻的 CSI 数据包含个维度为的矩阵,和为发送天线数和接收天线数.一个手势动作产生的 CSI 样本是由一段时间内不同时刻 CSI 数据组成的时间序列,元素量为,其中 为时间样点数.(T,K,NTXNRX)NTXNRX(NTXNRX,T,K)DS=xSi,ySinSi=1DT=xTinTi=1xynSnT本文所提方案需要对 CSI 样本进行维度变换.首先提取 CSI 的幅度值,此时每个样本可表示为三维张量,将等效于图像中的通道数,可进一步将 CSI 样本转置为形如的张量.将源域数据集与目标域数据集分别表示为和,其中 代表一个CSI 样本;代表其对应的标签;,表示源域和目标域的样本数.2.2.2卷积神经网络的设计文献 12 指出,卷积神经网络在 CSI 的分类任务方面,无论是能识别动作种类、准确率还是鲁棒性都远优于传统机器学习方案.但是,现有的卷积神经网络绝大多数是针对计算机视觉任务设计的,如VGG18、ResNet19.这些神经网络卷积核大小设计不适合直接用于 CSI,并且它们的参数量过多导致了算力消耗较大.因此,本文设计了一种针对 CSI 样本的端到端的轻量级卷积神经网络,可以自动提取 CSI 数据的特征.本文所设计的卷积神经网络如图 4 所示,首先由两个卷积层、实例-批归一化层(Instance-Batch,IBN)进行初步特征提取.研究20表明,在网络浅层使用实例-批归一化层有助于提升跨域的迁移学习能力,因此方案中采用了 IBN 层而没有采用普通的 BN(BatchNormalization)层.在此基础上,利用平均池化层提取更为有效的特征.接下来重复这样的结构并将 IBN层换为 BN 层,增加网络深度,提升神经网络的表达能力.最后由三层全连接层作为分类层.考虑到 PReLU相比 ReLU 提升了模型的拟合能力,又能减小模型的过拟合风险21,本文使用 PReLU 激活函数替代 ReLU.Conv2d 3*3 4 Kernels,PReLUConv2d 3*3 8 Kernels,PReLUConv2d 3*3 16 Kernels,PReLUConv2d 3*3 16 Kernels,PReLUIBNIBNBNBNAvgPool2dAvgPool2dfc1,PReLUfc2,PReLUfc3,PReLUSoftmax输出CSI 样本编码器分类器图 4卷积神经网络结构Fig.4 Structure of convolutional neural network 2.2.3预训练xS将源域样本经过预处理后输入网络进行预训练.计算相应手势的概率为：p(C|xS,W)=exp(zC)kexp(zq)（2）CWzzqqk式中,为手势类别;为神经网络的权值;为输出层的输出值;代表输出层输出的第 个值;为分类总数.网络由如下损失函数进行优化：Lclass=nSi=1ySilog(p(ci|xSi,W)（3）yiLclass式中,为真实标签.通过有标签的源域数据训练网络,使最小化即可得到性能良好的源域模型.2.3深度域适应阶段 2.3.1域适应网络的设计在许多应用场景中,目标域没有带标签的训练数据,因此无法直接利用目标域数据对网络进行微调.针对这一问题,本文采用了无监督的域适应方法 CORAL.提出的深度域适应网络将卷积神经网络扩展为并行结构并共享权值,将 CORAL 损失引入源和目标域网络的全连接层之间,并且在最后一层全连接层使用中心损失增强特征的可判别性.深度域适应网络 CORAL(a)(b)(c)Center loss源域深度特征目标域深度特征图 3方案原理Fig.3 Scheme principle第 10 期孙北晨，等：基于域自适应的 Wi-Fi 手势识别方案41 结构如图 5 所示.DfclS=xSiNSi=1DfclT=xTiNTi=1fcl记和作为源和目标域数据在层的深层表示.CORAL 损失为源和目标域深层特征的二阶统计量即协方差的距离,可表示为：LlCORAL=14d2|ClSClT|2F（4）源域目标域源域编码器目标域编码器目标域分类器源域分类器手势 1手势 nfine-tunefine-tunefine-tunefine-tuneflattenflattenlearnlearnlearnCORALLOSSCORALLOSSCLASSIFYLOSSCORALLOSSCenterLosslearnfine-tuneconv1conv4conv1conv4fc1fc2fc3fc1fc2fc3fine-tuneSharedSharedSharedSharedSharedShared图 5深度域适应网络Fig.5 Deep Domain Adaptation Network ClSClT式中源域和目标域的协方差矩阵、分别表示为：CS=1nS1(DfclSDfclS1nS(1DfclS)(1DfclS)（5）CT=1nT1(DfclTDfclT1nT(1DfclT)(1DfclT)（6）nSnT式中,分别为源和目标域样本数.Xiiyi尽管 CORAL 可以减少域差异,但是无法解决特征空间中样本远离类中心导致分类错误的问题,所以,需要进一步提高模型输出特征的可判别性.为此,在网络中引入了中心损失函数.中心损失函数能够同时学习每个类的深度特征的中心,并优化深度特征与相应类中心的距离15.更重要的是,中心损失函数可训练,且易于优化,适合于本文研究的场景.本文在全连接层的最后一层优化中心损失函数,实现区别特征学习.设为第 个样本的深层表示,标签为,中心损失函数表达如下：LC=12nbnTi|Xicyi|22（7）cyinbnTcyi式中,表示深度特征的类中心;为批(mini-batch)尺寸.随着训练的进行,将基于 mini-batch 进行更新.2.3.2域适应训练域适应阶段使用源域数据和目标域无标签数据输入域适应网络进行训练.为了训练目标域模型,单独最小化分类损失可能导致模型有过拟合风险,从而无法分类目标域样本.另一方面,单独优化 CORAL损失或中心损失函数也可能导致特征退化.因此本文将源域分类损失、CORAL 损失、中心损失进行联合训练：L=LCLASS+tllLlCORAL+LC（8）tll式中,为全连接层的总数;为第 层 CORAL 损失的权重;为中心损失函数的权重.这三种损失会在训练的过程中达到一种平衡,提取的深度特征将能够很好的作用在目标域.2.4测试阶段测试阶段不需要对神经网络参数进行更新.对于 BN 层,方案中设置其统计量为全局统计量.深度域适应的双流架构是权值共享的,方案中取其中一个分支作为目标域网络应用于测试阶段.本阶段使用目标域数据输入,使用域适应训练后的网络进行特征提取,由 softmax 层输出分类概率,再将最大概率所对应的标签作为分类结果输出.3实验与分析 3.1实验设置 3.1.1数据集本文实验采用的公开数据集由 SignFi12所采集,被手势识别相关研究广泛使用,其中包含 150 种手势42微电子学与计算机2023 年动作共 6 000 样本将.将数据集中 5 名用户编号为A,B,C,D,E.3.1.2对比模型将本文所提方案与以下几种深度学习方案进行对比：1)仅使用源域数据;2)SignFi12;3)DDC15;4)DAN16;5)CSIGAN13其中,仅使用源域数据指的是本文所设计的卷积神经网络仅用源域数据训练.SignFi 是此数据集的提出者.CSIGAN 是基于 GAN 的 Wi-Fi 手势识别跨域方案.DDC 是 Eric Tzeng 等人提出的一种域适应方案,通过在 AlexNet 中加入了一层域适应层并通过减小 MMD 距离来减小源和目标域之间的差异.DAN方案使用多核 MMD 替换 DDC 中的单核 MMD.3.1.3实验细节11033104对于 SignFi,DDC,DAN,实验中设置学习率为,批大小为 64.对于 GSIGAN,实验中设置学习率为,并使其工作在无监督状态以保证实验的公平性.对于本文方案,预训练阶段学习率设置为310331033104,优化器采用 Adma,批大小设置为 64.在深度域适应阶段,本文对卷积层采用微调策略,将学习率设置为,设置全连接层学习率为.优化器同样采用 Adma,批大小为 64.LlCORALLcl1=02=3=5 =0.01对于和的权重和 分别设置为,.测试阶段,本文使用分类问题研究中常使用的分类准确率来衡量模型的性能.所有的模型均使用 RTX2080Ti 进行训练、验证与测试.3.2实验结果将本文所提方案与其他论文中所提方案进行对比.文中 ABCD-E 代表训练集为有标签的 ABCD用户数据集和无标签的 E 用户数据集,验证集、测试集各为 50%有标签的 E 数据集,即由“ABCD”四名用户所组成的源域迁移到“E”用户组成的目标域.我们对每种方案进行 5 个实验分别为 ABCD-E、ABCE-D、ABDE-C、ACDE-B、BCDE-A,每个实验分别做 5 次取平均值.几种模型在目标域上的实验结果表 1 所示.表 1 准确率对比Tab.1 Comparison of accuracyABCD-EABCE-DABDE-CACDE-BBCDE-A平均准确率仅源域数据64.8%60.2%61.7%64.1%62.6%62.7%SignFi75.6%72.8%78.1%69.0%69.8%73.9%DDC75.7%74.3%76.1%77.2%65.1%74.8%DAN80.3%79.2%81.9%76.9%80.2%79.6%CSIGAN86.4%82.1%86.7%83.2%82.2%84.6%本文所提方案90.4%89.6%90.8%90.0%90.4%90.2%从表 1 中可以观察到,本文所提方案在目标域任务的平均准确率达到了 90.2%.根据表格中数据,可以得到如下观察结果：1)本文所提方案准确率优于其他五种方案,在目标域任务上效果较好.2)本文所提方案相比仅源域数据(62.7%)在目标域任务上的准确率提升了 27.5%,说明使用目标域无标签数据的域适应训练有效提升了模型性能.3)本文所提方案性能优于基于 MMD 距离的 DDC(74.8%)和 DAN(79.6%)方案,这说明 CORAL 距离比 MMD 距离更适合 CSI 数据.4)只使用源域数据训练的模型在目标域任务上的准确率(62.7%)比浅层网络 SignFi(73.9%)低,这说明深层网络提取的特征更加依赖于特定任务,在目标域上的性能反而比浅层网络差,但经过域适应训练后性能可以大幅提升.本文所提方法的分类效果如图 6,实验中训练、验证及测试 15 种手语手势.可以观察到除“画”“热”两个手语手势之外,其余手势识别准确率均在 90%以上.“画”(78%)和“热”(84%)分类准确率较低是因为它们都有较为相似的抬手动作,模型识别时容易互相混淆.识别准确率相对较低的“右”(90%)手势有 10%被识别为“热”,原因是两种手势的整体趋势较为相近,易造成误判.表 2 为各个方案达到最佳性能所需的训练轮数及时间.仅源域数据所需的训练轮数为 84,训练时间为 411.55 秒,推理时间为 0.032 秒,SignFi 的训练轮数为 235,训练时间为 691.18 秒,推理时间为 0.052 秒,二者相比较,SignFi 需要更多的训练时间及推理时间,但是性能更好.DDC,DAN 需要的训练轮数及时间都第 10 期孙北晨，等：基于域自适应的 Wi-Fi 手势识别方案43 较多,分别为 191 轮 784.74 秒、252 轮 1 135.15 秒.CSIGAN 所需的训练时间及推理时间最多,为 4 671.18秒、0.813 秒,原因是 GAN 本身较难训练且网络结构较为复杂.本文所提方案相比其他方案,所需的训练轮数最少(71 轮),训练时间最短(334.90 秒),推理时间(0.035 秒)相比 SignFi,DDC,DAN,CSIGAN 较少,适合在实际场景下应用.表 2 达到最佳性能的训练轮数及时间Tab.2 Training epoch and time to achieve optimal performance训练轮数(轮)训练时间(秒)推理时间(秒)仅源域数据84411.550.032SignFi235691.180.052DDC191784.740.041DAN2521 135.150.045CSIGAN2004 671.180.813本文所提方案71334.900.035 图 7 展示了 ABCD-E 实验 200 轮训练过程中,本文所提方案与对比文献中所提方案在目标域上的损失对比.从图中可以看到仅源域方案和 SignFi 方案的损失表现为先下降再缓慢上升,其原因在于没有优化域间损失,随着训练的进行源域和目标域的分布差异会渐渐加大,导致分类损失增大；而 DDC 和DAN 都是基于 MMD 距离的方案,DDC 较难收敛,DAN 相对 DDC 表现较好,但两者都始终无法达到一个较低的损失值,说明 MMD 距离并不适合本文跨域情况；CSIGAN 方案的损失波动较大下降缓慢,说明其损失函数难以收敛,训练困难,并不适用于实际跨域场景；相比之下,本文方案经过 20 轮训练左右就达到了一个较低的损失值,比其他方案易于训练,并且效果较好.00.00.40.81.21.62.02.42.83.23.64.050100训练轮数本文方案CSIGANDDCDANSingnFi仅源域分类损失150200图 7ABCD-E 实验中目标域分类损失Fig.7 Loss of target domain classification inexperiment ABCD-E 3.3消融实验本节分析四种方案,分别为本文所提方案、仅CORAL 损失方案、仅中心损失方案和仅源域数据方案.图 8 展示了随着训练的进行,在实验 ABCD-E中四种方案在目标域上的测试准确率.通过对实验结果的观察可知,本文所提方案的收敛速度相较于其 请车我生气高友好鸟老师真实标签热你家冷右画悲伤请悲伤 画右冷家你热预测标签老师 鸟 友好 高 生气 我车0.00.10.20.30.40.50.60.70.80.91.0图 615 种手势的识别效果Fig.6 Recognition effect of 15 kinds of hand gestures44微电子学与计算机2023 年他方案更快,随着训练的进行,准确率也一直优于其他方案.仅使用源域数据对模型进行训练准确率震荡幅度较大,这是因为模型对源域的过拟合现象,分别引入 CORAL 损失和中心损失都可以改善过拟合、提升准确率.表 3 展示了四种方案训练 100 轮后的最终准确率.实验结果表明,仅引入 CORAL 损失已经可以取得较好的效果,引入中心损失也可以获得一定程度的准确率提升.而本文所提方案将两者结合,进一步的提升了模型性能 3.4对 CORAL 损失的分析CORAL 是一种应用于计算机视觉方向的损失,为了将其推广到 Wi-Fi 手势识别领域,本文接下来将深入分析 CORAL 损失在训练过程中的变化及其带来的影响.对 CORAL 损失的分析在 ABCD-E、ABCE-D、ABDE-C、ACDE-B、BCDE-A 实验中均有相似的结论,本节重点讨论 ABCD-E 的实验结果.表 3 消融实验准确率对比Tab.3 Comparison of the accuracy of ablation experimentsABCD-EABCE-DABDE-CACDE-BBCDE-A平均准确率仅源域数据64.8%60.2%61.7%64.1%62.6%62.7%仅中心损失86.8%85.7%85.9%86.2%84.1%85.7%仅CORAL损失89.5%88.6%87.1%89.2%86.4%88.2%本文所提方案90.4%89.6%90.8%90.0%90.4%90.2%图 9 展示了经过了 200 轮训练的源域分类损失变化曲线和 CORAL 损失变化曲线.由于全连接层的权重是随机初始化的,源和目标域数据被投射到了一个点,所以 CORAL 损失在最开始为时接近于 0.随着训练的进行,网络学习到关于源域的知识使损失增大,之后由于对 CORAL 损失的优化而逐渐减小,最后与分类损失处于一个动态平衡的状态.为了观察源域和目标域之间的 CORAL 距离,进一步分析了 2000 轮仅源域数据训练的过程中源域和目标域的分布差异.图 10 展示了仅使用源域数据训练时,CORAL 距离的变化.由图中可知源域和目标域的 CORAL 距离随着训练的进行逐渐增大,这意味着两个域的深度特征的分布差异逐渐增大.表明未进行域适应训练的 Wi-Fi 手势识别模型随着训练的进行,其全连接层逐渐显现出对源域任务的依赖性,这是识别新用户手势时准确率下降的重要原因.为了深入研究加入 CORAL 损失的位置对新用户的 CSI 数据识别准确率的影响,图 11 展示了不同全连接层加入 CORAL 损失对手势识别准确率的影响.由图 11 可以观察得出,在 fc1 或 fc1、fc2 层加入 CORAL 损失的效果较差,因为距离卷积层过近影响了卷积层特征的选择.而在 fc2、fc3 层同时加入CORAL 损失能够大幅度减少模型对源域的过拟合,提升模型在目标域的性能.5560657075808590510训练轮数准确率1520本文方案仅源域仅中心损失仅 CORAL 损失图 8ABCD-E 实验中平均准确率Fig.8 Change of average accuracy in experiment ABCD-E 训练轮数分类损失CORAL LOSS0.0000.0010.0020.0030.0040.0050.0060.0070.0080.0090.010损失值020406080100 120 140 160 180 200图 9源域分类损失和 CORAL 损失随训练进行的变化Fig.9 The changes of source domain classification loss andCORAL loss with training第 10 期孙北晨，等：基于域自适应的 Wi-Fi 手势识别方案45 4结束语本文设计了一种针对 Wi-Fi 跨域手势识别的域适应方案,用于解决 Wi-Fi 手势识别中用户变化导致的准确率下降问题.为了提取 CSI 的深度特征,文中设计了一种可以自动对 CSI 数据进行特征提取的轻量级卷积神经网络.提出了一种对齐特征分布和优化类中心的无监督域自适应网络,利用 CORAL 缩小源和目标域对象深度特征的二阶统计量来实现分布对齐,同时利用中心损失函数最小化类内距离并最大化类间距离以提高特征的可判别性.实验证明,本文所提方案将用户变化时的手势识别准确率从 62.7%提升至 90.2%,与现有的几种方案相比,该方案可以实现更好的分类效果,为 Wi-Fi 手势识别技术提供了一种更具鲁棒性的识别方案.参考文献:赵康，黎向锋，李高扬，等.轻量级(2+1)D卷积结构的动态手势识别研究J.微电子学与计算机，12022，39（9）：46-54.DOI:10.19304/J.ISSN1000-7180.2022.0115.ZHAO K，LI X F，LI G Y，et al.Dynamic gesturerecognition based on lightweight (2+1)D convolutionstructureJ.Microelectronics&Computer，2022，39（9）：46-54.DOI:10.19304/J.ISSN1000-7180.2022.0115.韩崇，韩磊，孙力娟，等.基于时空压缩特征表示学习的毫米波雷达手势识别算法J.电子与信息学报，2022，44（4）：1274-1283.DOI:10.11999/JEIT211221.HAN C，HAN L，SUN L J，et al.Millimeter waveradar gesture recognition algorithm based on spatio-tem-poral compression feature representation learningJ.Journal of Electronics&Information Technology，2022，44（4）：1274-1283.DOI:10.11999/JEIT211221.2 杨建涛，李翔宇，王硕，等.用于手势识别的超声波收发器嵌入式系统设计J.微电子学与计算机，2018，35（5）：51-54.DOI:10.19304/ki.issn1000-7180.2018.05.010.YANG J T，LI X Y，WANG S，et al.Design of ul-trasonic transceiver embedded system for gesture recogni-tionJ.Microelectronics&Computer，2018，35（5）：51-54.DOI:10.19304/ki.issn1000-7180.2018.05.010.3 PALIPANA S，ROJAS D，AGRAWAL P，et al.FallDeFi:ubiquitous fall detection using commodity Wi-Fi devicesJ.Proceedings of the ACM on Interactive,Mobile,Wearable and Ubiquitous Technologies，2018，1（4）：155.DOI:10.1145/3161183.4 宋宇，喻文举，程超，等.基于WiFi、PDR、地磁相融合的室内定位研究J.微电子学与计算机，2018，35（6）：60-64.DOI:10.19304/ki.issn1000-7180.2018.06.013.SONG Y，YU W J，CHENG C，et al.Researchonindoor positioning based on fusion of WiFi