基于卷积神经网络的踝关节运动模式识别.pdf

第3 3 卷第4期2023年12 月洛阳理工学院学报（自然科学版）Journal of Luoyang Institute of Science and Technology(Natural Science Edition)Vol.33No.4Dec.2023基于卷积神经网络的踝关节运动模式识别朱明霞，叶晔*（安徽工业大学机械工程学院，安徽马鞍山2 430 0 2）摘要：采用两个无线表面肌电信号采集器，采集人体小腿比目鱼肌和排骨短肌的踝关节背曲、跖曲、内翻、外翻动作信号，对两通道的原始信号进行归一化，将归一化后的数据输入到卷积神经网络，对踝关节4种运动进行模式识别。实验采集6 名健康被试，针对单个被试的最高分类准确率为9 8.19%，平均识别率为9 7.0 4%，模式识别模型和采集通道能以较高分类准确率区别踝关节的4种动作。针对6 名被试的整体分类识别率为95.11%，说明个体之间的肌电信号存在共性。关键词：表面肌电信号；踝关节运动；模式识别；卷积神经网络D0I:10.3969/j.issn.1674-5043.2023.04.010中图分类号：TP249近年来，肌肉-计算机接口在上肢运动识别领域中得到了广泛应用1-3，但在踝足运动中还有待发展。踝关节运动的模式识别，可以作为踝关节康复机器人的控制指令4-5，用以对踝关节运动障碍的患者提供康复治疗。踝关节运动的模式识别，还可以用于在手势不方便的场合时用“脚势”来代替，比如在舞台上，吉他手想要的灯光效应就可以用“脚势”来被感应。由此可见，对于踝关节的运动模式识别有着很大的现实需求。在模式识别领域，特别是手势识别领域，传统的模式识别步骤是先对采集到的表面肌电信号进行预处理和特征提取，再进行模式识别6 。在特征提取中，人工提取特征耗时长，需要进行反复地实验，以找到最能表征该动作的特征值。随着计算机性能的不断发展，深度学习网络应运而生。在深度学习网络中，卷积神经网络（Convolution Neural Network，CNN）具有提取特征的功能。它的出现，使得研究者们从主要关注特征工程转移到特征学习上7 ，研究者们可以专注网络模型的设计。CNN最初用在手写数字的识别中，随后在图像识别领域取得了巨大的成功8 。在肌电信号分类领域中，一些研究人员已经提出了基于CNN的手势识别模型9-10 ，在踝关节运动模式分类中，使用CNN模型还较少。本文使用市场现有的表面肌电信号采集器，采集踝关节背曲、跖曲、内翻、外翻的动作信号，将原始信号输人到CNN，使用CNN对原始踝关节4种动作信号进行特征提取和模式识别。1材料与方法选择ZJE-20D型无线肌电信号采集器2 个，将采集器分别贴于小腿的比目鱼肌和腓骨短肌的肌腹处，采集两通道的数字化信号，采样频率设置为10 2 4Hz。无线肌电信号采集器通过蓝牙连接到电脑端，组装图如图1所示。由于每个个体的肌电信号幅值均不同，本实验选择6 名受试者，男生5名女生1名。实验受试者均为大学生，身体健康，均无任何神经肌肉疾病史，实验前一天均无剧烈运动史。实验采集被试背曲、跖曲、内翻和外翻的动作信号1。实验得到了安徽工业大学生物医学研究伦理委员会伦理审查批准，所有受试者在实验前均已签署知情同意书。实验的动作示范如图2 所示。文献标识码：A文章编号：16 7 4-50 43(2 0 2 3)0 4-0 0 59-0 5收稿日期：2 0 2 3-0 2-2 2作者简介：朱明霞（19 8 9-），女，安徽马鞍山人，在读硕士研究生，主要从事肌电信号模式识别方面的研究.E-mail:978377294 通讯作者：叶哗（19 8 2-），女，安徽安庆人，硕士，副教授,硕士生导师，主要从事机器人技术、现代设计方面的研究.E-mail：yeyemas 60洛阳理工学院学报（自然科学版）第33卷排骨短肌比目鱼肌蓝牙适配器（a）无线采集器所贴位置图1无线肌电信号采集器组装图（b）蓝牙适配器与电脑连接(a)背屈实验测试时，被试要求在膝关节弯曲呈9 0 的坐姿条件下实现以上4种动作。规定放松-动作-放松为一次完整的动作，每次完整的动作被要求在3s内完成，每种动作完成50 次后休息5min，进行下一个动作的采集。每次动作之间幅度和频度大致相同。2卷积神经网络分类模型设计2.1卷积神经网络CNN一般会包含卷积层、池化层和全连接层12 。每一层的设计均有不同的目的。卷积层和池化层会交替出现，以达到特征提取的目的。特征提取后输人到全连接层再进行分类。CNN通过反向传播优化算法来不断更新网络学习的权重和偏置，这与传统神经网络相似。CNN的输人与传统全连接神经网络有所不同，它的每一层都会使用同一个权重和偏置，即“权值共享”，这会大量减少网络中需要更新的参数，从而提升计算速度，并减少了出现过拟合问题的概率。2.2模型结构为了对踝关节运动中肌电信号进行分类，考虑到肌电信号数据量小，且输人数据为两通道的原始肌电信号。将输入数据信号当成图片信息来处理，设计3层卷积层对信号进行特征提取，并采用3种尺寸的卷积核参与运算。第一层卷积使用6 4个特征图，第二层卷积和第三层卷积使用12 8 个特征图。对于第一层卷积层，卷积核采用矩形神经元阵列形式，称为1D卷积核，大小为50 1，第二层卷积核的大小为4x1，第三层卷积核的大小为31。卷积层的步长均为（1,1）。卷积核在整个网络中共享参数。在第一层、第二层和第三层卷积层后添加最大池化层，第一层池化区域设为（10,1）且池化层步长为（10,1），第二层池化区域为（4,1）且步长为（4,1），第三层池化区域为（2,1）且步长为（2,1）。为了防止网络过拟合，在第三层最大池化层后添加Dropout层，设置Dropout大小为p=0.5。信号经CNN网络进行特征提取之后，输人至全连接层，在全连接层后也添加一个Dropout层防止过拟合，设置Dropout大小为p=0.5。初始权重值在-1,1 之间随机选择，初始偏差为0。尝试了不同的超参数值，最终确定卷积神经网络的结构和参数，如表1所示。(b)跖屈图2 四种踝关节动作(c)内翻(d)外翻第4期2.3实验数据的准备每个被试采集4种踝关节动作，每种动作信号50 组数据，每组数据的采样点为30 7 2，在进行归一化前，去除信号开始后的前7 2 个点后为30 0 0 个采样点。对原始数据进行归一化，将每组信号所具有的3000个采样点缩放到0,1 的范围内。对于处理后的信号，每个被试4种动作共2 0 0 组信号，每组信号有两个通道，每个通道有30 0 0 个采样点，将数据转换成2 0 0*30 0 0*2 的三维数组形式。CNN最终输出类别数：背曲是1类，跖曲是2 类，内翻是3类，外翻是4类。3实验结果与讨论卷积神经网络选用ReLU作为CNN层的激活函数。对于池化层，选择最大池。选择Softmax函数和交叉熵作为分类层的激活函数和CNN的损失函数。使用Adam算法更新权重和偏差，并将学习率设置为0.0003，迭代次数设为150。针对单个被试的动作进行分类，将每个被试2 0 0 组数据按照4：1分为训练集和测试集，采用5倍交叉验证法训练模型，得到单个被试的分类准确率如图3所示。从图3中可以看出，6 名被试的分类准确率均在9 5%以上，最高分类准确率为9 8.19%，平均分类准确率为9 7.0 4%。针对6 名被试的动作进行整体分类，将6 名被试4种踝关节动作汇总得到12 0 0 组数据，将12 0 0 组数据和对应的标签号全部打散，按照4：1分为训练集和测试集，训练阶段采用5倍交叉验证。整体分类识别的准确率为9 5.11%。所有数据在CNN中的分类准确率和损失函数曲线如图4所示。6 名被试整体数朱明霞，等：基于卷积神经网络的踝关节运动模式识别表1卷积神经网络的结构和参数层参数Convolution 1DK:501,filters:64Max-Pooling 1DK:10 x1Convolution 1DK:4x1,filters:128Max-Pooling 1DK:41Convolution 1DK:3x1,filters:128Max-Pooling 1DK:3x1FlattenDropoutDense LayerDropoutDense Layer98.50%上9 8.19%98.00%97.50%97.00%96.50%96.00%95.50%95.00%94.50%被试1被试2 被试3被试4被试5图3单个被试的分类准确率61激活函数ReluReluRelu0.5Units:1280.5Units:597.79%97.19%96.69%95.79%ReluSoftmax96.59%被试662据分类的混淆矩阵如图5所示，背屈、跖曲、内翻和外翻之间有轻微的混淆。1.00.8洛阳理工学院学报（自然科学版）第33卷Train1.0Test0.880700.40.20.0020406080100120140Epoch(a）准确率曲线图4整体被试的分类准确率和损失函数曲线混淆矩阵190.322032.94401图5全部被试分类的混矩阵本文设计的卷积神经网络识别模型和采用的表面肌电信号采集通道在踝关节运动分类上具有可行性。单个被试的分类结果优于整体被试的分类结果，说明表面肌电信号因人而异，个体之间存在一定的差异性。整体被试的分类结果达到了9 5%以上，说明同种动作的表面肌电信号在不同个体间存在共性，这正是踝关节动作分类识别未来获得应用的基础。4 结语采用表面肌电信号采集器，采集健康人的小腿比目鱼肌和腓骨短肌的表面肌电信号，对采集到的表面肌电信号进行归一化，并将采集到的信号逐条对应踝关节背曲、跖曲、内翻、外翻等4种动作标签，将归一化后的原始信号和所对应的标签号作为CNN的输人，进行4分类识别。结果表明，本文提出的方法能有效分类出踝关节的上述4种动作，充分说明本文所选肌电信号采集通道的有效性和所设计的卷积神经网络模型结构的可行性。参考文献：1】梁茜雅，张庆国，杨兴洋，等.基于表面肌电信号的机械臂运动控制J.南方农机,2 0 2 2,53（19)：16 1-16 3.2】宋月鹏，王硕，苏斐，等.基于肌电信号控制的手臂助力器研制J.中国农机化学报，2 0 18,39（10：8 1-8 5.3刘海燕,是利娜，韩晓新.基于DSP的假肢手肌电信号控制系统的设计J.江苏技术师范学院学报,2 0 11,17(2)2 3-2 6.4】刘高峰.踝关节康复系统控制策略研究D.沈阳：沈阳理工大学,2 0 2 0:13-16.5】姚松丽，章亚男，张震，等.利用选择性肌电信号控制踝关节神经运动康复装置J.上海大学学报（自然科学版）,2 0 0 9,15(3):245-250.0.4Train0.2Test0.002004060801001120140Epoch（b）损失函数曲线904.843.2298.1801.4795.593.64023预测标签1.621.82096.3646050403020100第4期6 ENVELOPE M,RLPDM B,VFDLJ B.Gesture recognition of wrist motion based on wearables sensors J.Procedia Computer Sci-ence,2022,21(3):181-188.7 GENG W,DU Y,JIN W,et al.Gesture recognition by instantaneous surface EMG imagesJ.Scientific Reports,2016(6):36571.8 PHAPATANABURI K,KOKKHUNTHOD L,WANG T,et al.Brainwave classification for character-writing application using emd-based gmm and kelm approachesJ.Computers,Materials&Continua,2021,66(3):3029-3044.9】张朝柱，顾晓婷，张艺漫.基于深度卷积神经网络的手势动作识别J.无线电工程,2 0 19,49(7)：58 7-59 1.10任晓文，郭一娜,刘其嘉，等.基于卷积神经网络的手势识别研究J.太原科技大学学报,2 0 19,40(1)：1-5.11胡文龙,乔晓艳.基于肌电小波包统计特征的踝关节动作识别J.测试技术学报,2 0 17,12 1(2)：14-2 0.12 GADEKALLU T R,SRIVASTAVA G,LIYANAGE M,et al.Hand gesture recognition based on a Harris Hawks optimized Convolu-tion Neural NetworkJ.Computers and Electrical Engineering,2022(10):100-108.Abstract:Two wireless surface electromyography(SEMG)signal collectors are used to acquire ankle dorsiflexion,plantar flexion,in-version,and eversion motion signals from the human calf soleus and peroneus brevis.The acquired raw signals were normalized,andthe normalized data were input to a CNN for final pattern recognition of the four movements of the ankle joint.Experimentally,6 healthysubjects were collected,and the highest classification accuracy for a single subject was 98.19%and the average recognition rate was 97.04%,indicating that the recognition pattern and the collected channels could distinguish the 4 movements accurately.The overall clas-sification recognition rate for the 6 subjects was 95.11%,indicating that there was commonality in their EMG signals.Keywords:SEMG;ankle motion;pattern recognition;CNN朱明霞，等：基于卷积神经网络的踝关节运动模式识别Ankle Joint Motion Pattern Recognition Based On CNNZHU Mingxia,YEYe*(College of Mechanical Engineering,Anhui University of Technology,Maanshan 243002,China)63(责任编辑：翟智卫)(上接第2 8 页）Study on Wind-driven Rain Pressure Interference Effect of Large-span Elliptical Hyperbolic RoofSUN Fangjin-2-3,LI Zhida,ZHU Donghan,ZHANG Daming05.6*(1.Guangxi Key Laboratory of Geomechanics and Geotechnical Engineering,Guilin 541004,China;2.Guangxi Key Laboratory of New Energy and Building Energy Saving,Guilin 541004,China;3.Cllege of Civil Engineering and Architecture,Guilin University of Technology,Guilin 541004,China;4.College of Civil Engineering,Liaoning Technical University,Fuxin 123000,China;5.Guangxi Key Laboratory of Embedded Technology and Intlligence,Guilin 541006,China;6.College of Information Science and Engineering,Guilin University of Technology,Guilin 541006,China)Abstract:Based on Euler-Euler method and numerical simulation platform,the distribution characteristics of wind-driven rain pressureof large-span elliptical hyperbolic roof structure considering interference effect are studied.Under the interference of the interferingbuilding,by controlling the height difference,different spacings and different wind speeds between the two buildings,the distributioncharacteristics of wind-driven rain pressure on the surface of large-span elliptical hyperbolic roof are studied.The results show that asthe height differences between the two buildings increase,the pressure coefficient of the roof surface decreases.When the height differ-ence is O,the pressure on the roof of the target building is the largest.The distance between the two buildings has a certain influence onthe wind pressure of the roof surface.A part of the roof on the windward leading edge is subjected to suction,and the other areas aresubjected to pressure.The wind speed greatly influences the roof side pressure.With the increase of wind speed,the pressure on bothsides of the roof increases,and the pressure on both ends of the roof is the largest.Keywords:large-span elliptical hyperbolic roof,Euler-Euler approach,wind-driven rain pressure,pressure coefficient(责任编辑：黄广霞）