基于迁移学习的表面肌电信号手势识别_张应祥.pdf

第 卷 第 期 年 月南京理工大学学报 收稿日期：修回日期：作者简介：张应祥（），男，硕士生，主要研究方向：模式识别，：；通讯作者：周慧（），男，博士，副研究员，主要研究方向：人机交互、康复工程，：。引文格式：张应祥，位少聪，张茜茜，等 基于迁移学习的表面肌电信号手势识别 南京理工大学学报，（）：投稿网址：基于迁移学习的表面肌电信号手势识别张应祥，位少聪，张茜茜，周 慧（南京理工大学 自动化学院，江苏 南京）摘 要：为了解决基于深度学习方法的表面肌电（）信号手势识别模型训练中需要大量数据的问题，该文将迁移学习方法与卷积神经网络（）相结合，设计了一种微调模型参数的训练方法。设计实验对 名被试者采集了 种手势的 信号。利用已有被试者的 信号作为源域数据对 进行训练，模型在源域数据上的分类准确率为 。取其他被试者的 信号作为目标域数据，数据量大小为源域数据的。在已训练好的模型基础上固定前 层卷积层，微调其余层级的参数，完成模型在不同个体间的迁移。迁移后的模型在目标域上的分类准确率为。关键词：迁移学习；表面肌电信号；手势识别；深度学习方法；卷积神经网络；源域；目标域中图分类号：文章编号：（）：，（，）：（），（），：；总第 期张应祥 位少聪 张茜茜 周 慧 基于迁移学习的表面肌电信号手势识别 表面肌电（，）信号是一种测量肌肉收缩产生的电活动的方法，用于评估和记录骨骼肌产生的电活动。随着深度学习的发展，肌电信号在假肢控制、人机交互、康复医学等领域得到了广泛的应用。传统机器学习对于肌电信号的分析主要分为 个步骤：对原始肌电数据进行降噪滤波等预处理；然后计算肌电信号的特征值；最后使用线性判别分析（，）、近邻（，）算法、支持向量机（，）和人工神经网络等分类器对肌电信号分类。通过对肌电信号的辨识和分类得到有效的控制信号。但是传统机器学习方法在肌电信号的应用中存在一定弊端，需要预处理剔除肌电数据中的噪声以及提取其特征，对人力与资源是一个大的挑战。深度学习作为机器学习的扩展，改变了人们对于数据处理的传统方式。深度学习算法可以从原始数据上自动提取重要的分类特征，并且在大数据集中显示出更高效、准确的效果。近年来，在肌电信号的分析中，深度学习方法的性能已经超越了传统的机器学习方法。和 从 数据库 中 引 入 了 自 适 应 的 多 层 卷 积 神 经 网 络（，）对 进行分类，结果表明该方法比 的分类效果提高，等展示了 在使用可穿戴式肌电传感器（臂带）实时应用中的表现，并取得了 的分类准确率。提出了一种自校准，可以随着时间的推移提高分类 数据集的稳定性和性能，与未校准分类器相比，在 和 数据集上分类准确率分别提高了 和。对于肌电信号的特征提取相比于传统机器学习方法更加直接、便捷。虽然 识别肌电信号的准确率表现良好，但是在其模型的训练中，数据量的大小直接决定了其表现性能。在数据量小的情况下，模型对肌电信号的分类效果表现一般。此外由于其模型中设置多层、多卷积核，所以参数较多，由已有个体数据训练好的 模型只适用于该个体数据的分类，在其他个体数据上的应用效果较差。迁移学习的出现有效地解决了上述问题，通过迁移学习的方法可以将源域知识迁移至目标域，帮助目标域模型训练。在数据不足或难以获得数据的情况下，利用迁移学习可以很好地改善分类器的性能。在肌电信号的处理方面，利用迁移学习方法可以使用更少的肌电信号数据与训练时间完成分类器模型的训练。与训练新的 模型相比，利用迁移学习的方法使用 个预先训练好的模型，帮助训练新个体数据的分类模型，是一种更加简单和快速的方法。如今迁移学习领域针对肌电的不同应用场景涌现出多种方法。等初步验证了迁移学习可以减少 种手势肌电图识别任务的训练负担，在用源域数据训练源网络的时候，使用一种称 为 渐 进 式 神 经 网 络（，）的迁移学习方法来训练目标网络。在只使用 个周期数据进行训练的情况下，模 型 的 平 均 分 类 准 确 率 为。等提出了一种新的个体迁移框架，并在由 个手势和 个参与者组成的 数据集上进行了验证。以 名参与者的手势作为目标任务，将剩余 名参与者的所有数据用于 个源 分类器的预训练。然后，通过对 个经过微调的 分类器的输出进行投票，对目标参与者的手势进行分类。该方法将平均识别正确率从 提高到。提出了一种适用于低频肌电信号的运动意图译码方案，使用微调 网络参数的迁移学习方法，分析了高斯白噪声下不同特征提取方法和数据增强的效果，并利用 数据库对其算法进行了评估，在对 名受试者的 种手势识别中，准确率最高可达。本文采集了 个被试的，使用 对肌电信号进行识别，并且基于 研究了微调模型参数的迁移方法，最终以更少量的样本数据和时间消耗取得良好的分类效果，间接提高了模型的泛化能力。材料与方法 实验被试 名健康被试参加本次实验的数据采集，包括 名男性、名女性，周岁，均从南京理工大学招募。所有被试均没有手部运动障碍或神经疾病，且在实验开始前已熟悉手势动作以及数据采集流程。被试者招募及实验方案经南京医科大学附属南京脑科医院人体研究伦理委员会批准。南京理工大学学报第 卷第 期每名被试在指导下使用左手完成 种手势，每种手势完成 次，每个手势保持 ，共采集 个数据。为了防止肌肉疲劳对实验数据的影响，每完成 次数据采集休息 。数据采集与预处理实验通过 传感器完成手势数据的采集。实验的 种手势如图 所示。图 种静态手势使用 无线肌电系统采集被试者的 信号，设置采样频率为 。在开始数据采集之前，用酒精棉擦拭受试者左手手臂及手心皮肤，然后取 个通道电极分别贴在受试者左手的的拇短展肌、桡侧腕屈肌、指伸肌与尺侧腕伸肌处，如图 所示。图 传感器位置对原始数据进行预处理，然后输入模型。记录的肌电数据通过 的二阶巴特沃斯带通滤波器进行预处理。采用长度为 、重叠长度为 的滑动窗口对原始信号进行分割。方法本文使用 对 信号进行识别分类，并以微调 某些层级的参数作为不同个体间的迁移方法。是一种深度网络，是近年来在模式识别等领域的研究热门，在图像识别、生理信号处理领域有着良好的表现。中的卷积层可以有效提取肌电信号中不同通道、时间的特征信息，通过几层的卷积操作与激活函数激活可以有效提取出肌电信号特征，省去了人工设计特征提取方法的步骤，并且利用池化操作对特征维数进行降维，减少了参数量，也提高了泛化能力。本文设计的结构如图 所示。图 模型结构图总第 期张应祥 位少聪 张茜茜 周 慧 基于迁移学习的表面肌电信号手势识别 本文设计的输入为（通道时间）的一维时空图，实验共使用 个通道电极，所以设置的输入图像为（通道）（采样点），并且设置长度为 、重叠长度为 的滑动窗，在数据上依次滑动截取输入图像。本文设计的结构包含 层卷积层，且在每层卷积后都设置了激活层与池化层。每层卷积层通过卷积核大小以及步长的设置维持特征图像尺寸不变。第 层卷积层采用了 个 的卷积核对原始输入图像进行特征提取，后 层卷积层的卷积核个数分别设置成、，大小都为。经过卷积操作的图像最终输入 个全连接层，经过 输出肌电信号的分类结果。迁移学习本文假设利用从已训练好的 分类器模型中提取出的参数信息为新加入的被试，建立更准确可靠的分类器。所以本文将迁移学习的方法应用于 分类器的构建，使得这种形式训练的模型可以捕捉到更普遍、更可靠的特征。本文采用基于 深度网络模型微调的迁移方法。为了方便描述，将目标被试的数据设为，源被试的数据设为。源被试的数据 包含该被试的（手势）（重复次数）次实验的全部数据，而目标被试的数据 为，即取该目标被试（手势）（重复次数）次实验的数据。用源被试的数据 训练好 模型，然后将模型迁移至目标被试的数据 进行微调训练。每个被试的原始数据都会训练出 个基于 的分类器模型，这些模型构建为源域模型库。对于 个新加入的被试，源域模型库中的所有模型都可供迁移。对于迁移的处理方法如图 所示。图 迁移方法示意图首先在源域模型库中初步选择 个模型，然后在选择好的模型上进行微调训练，即固定模型的前 层参数，对模型的最后 层卷积层和全连接层参数进行微调。在不同被试个体之间信号虽然存在差异，但是在 信号层面，不同个体间的信号具有一定的普遍特征，而一般前几层对于抽取不同个体信号的普遍特征具有极大的作用，所以在迁移时固定已训练好模型的前几层参数。为了体现迁移学习方法对本文各被试者数据间分类效果的影响，在迁移过程中设置了对照组。即第 组在目标被试的数据 上重新训练新的 网络，第 组在数据 上迁移已训练好的模型，对网络中某些层级的参数进行微调训练。本文的算法框架是基于 语言实现的，具体 的 开 发 设 备 与 环 境 为：、和。实验结果本文采用十倍交叉验证的方法多次训练模型，以保证每个数据均能作为训练数据和测试数据，每次测试的准确率为正确识别的手势个数占总测试手势个数的比率，每个被试的手势识别率取十倍交叉验证 次训练结果的平均值。分类效果所有被试数据的 种手势平均分类准确率如图 所示。图 种手势的平均分类准确率棒图所有被试的分类准确率为，其中前 名被试者为男性，后 名被试者为女性。由图 可见，针对不同性别模型的分类准确率没有明显差异。被试的每种手势分类准确率如表 所示。其中第 种手势在所有被试者数据分类中分类效果最差，所有被试的第 种手势平均分类准确度为；第 种手势分类效果最好，所有被试的第 种手势平均分类准确率为。南京理工大学学报第 卷第 期表 种手势的分类准确率对比表被试编号分类准确率 手势 手势 手势 手势 手势 手势 手势 手势 所有 用所有被试数据在 网络测试中预测的标签和真实标签构造混淆矩阵，可以观察被误判的肌电手势信号与其他哪一类手势的信号最容易混淆，如图 所示。图 被试数据预测标签与真实标签的混淆矩阵由混淆矩阵可以看出，在文中的所有被试数据的分类中，最容易混淆的是第 种和第 种手势。个体间迁移分类效果第 组（未迁移模型）和第 组（迁移模型）的 种手势平均分类准确率如图 所示。第 组由数据 训练的新模型的分类准确率基本为 ，最高分类准确率为，最低分类准确率为。而第 组迁移后的模型的分类准确率为，最高分类准确率为，最低准确率为。可见通过迁移方法得到的模型对于新被试数据具有更好的分类效果，平均分类准确度相比于未迁移的情况提高。此外迁移模型与未迁移模型在训练过程中的损失函数值对比如图 所示。图 被试数据在未迁移模型与迁移模型下的分类准确率对比棒图由图 可见，未迁移模型在训练过程中损失值下降缓慢，并且最终趋于稳定时的损失值也较大；迁移模型的训练过程的开始阶段损失值较大，但是虽然随训练次数的增加损失值迅速减小，并且最终趋于稳定时的损失值较重新训练的模型更小，实际也体现为迁移模型的分类精度更高。总第 期张应祥 位少聪 张茜茜 周 慧 基于迁移学习的表面肌电信号手势识别 图 迁移模型与未迁移模型训练损失曲线图此外本文比较了固定了不同卷积层参数的迁移模型的 种手势的平均分类准确率，如图 所示。图 固定不同卷积层的模型分类准确率对比棒图由图 可知，固定 个卷积层和固定 个卷积层的参数得到的模型分类准确率差异很小，但是固定全部 个卷积层参数时分类效果下降幅度较大。实验结果讨论通过实验结果可以发现，使用大量数据进行训练的 网络在 种肌电手势上可以得到 的分类准确率。但是训练好的 模型只适用于单个被试。在架构上，固定模型部分卷积层的参数，利用新被试的数据对模型的后几层参数进行微调训练。在迁移过程中，固定 个卷积层和固定 个卷积层的分类准确率没有较大差距，但是在固定 层卷积层之后，得到的分类准确率明显下降。由此可见，本文设计的 网络的不同层级卷积层在 信号特征提取过程中发挥了不同作用，前 层卷积层可以提取出不同个体间 信号的普遍特征成分，第 层及后续的全连接层则对不同个体间 信号的特有成分的识别发挥重要的作用。在迁移模型过程中，固定前 层或前 层卷积层都没有限制后续层级对不同个体 信号的特有成分的提取作用，所以分类准确率差异并不明显，但是在固定 层卷积层的情况下限制了模型对不同个体 信号特有成分的提取，导致了分类准确率大幅下降。结束语本文设计实验从 名健康被试中获取 种手势的肌电数据。完成对肌电信号的提取与分类，并且采用微调卷积神经网路参数的迁移学习方法实现不同个体间 手势的快速识别。比较了未迁移模型与迁移模型在相同数据上的分类准确率差异，同时也分析了迁移过程中微调不同层级模型参数的跨个体迁移效果。结果显示利用微调模型参数的迁移方法，可以提高跨个体的分类效果。参考文献：，：，：，：，：，：胡洋洋，吴卫兵，李家海，等 新型腰背部运动训练系统及其效果检测 南京理工大学学报，（）：，（）：宋佳强，裴晓敏，赵强，等 基于组合能量特征的表面肌电信号手势识别算法 传感器与微系统，（）：，南京理工大学学报第 卷第 期 ，（）：，：，（）：龙远强，蔡家斌，潘正，等 基于肘关节表面肌电信号的负载识别 科学技术与工程，（）：，（）：，（）（）（），：，：，（）：，（），：，：，：，：，：陆兵，周国华，顾晓清，等 迁移拉普拉斯总间隔支持向量机 南京理工大学学报，（）：，（）：，：，：，（）：，：，：，