肌电和足压信息融合的外骨骼步态识别.pdf

第 卷 第 期兵 器 装 备 工 程 学 报 年 月 收稿日期:修回日期:基金项目:国家自然科学基金项目()安徽省重点研究与开发计划()安徽省属公办普通本科高校领军骨干人才项目 安徽工程大学创新团队作者简介:汪步云()男博士副教授:.:./.肌电和足压信息融合的外骨骼步态识别汪步云缪 龙吴 臣杨 鸥张 振许德章(.安徽工程大学 人工智能学院 安徽 芜湖.安徽工程大学 机械工程学院 安徽 芜湖.芜湖云擎机器人科技有限公司 安徽 芜湖)摘要:为解决基于单一信号识别步态相位不够精准的问题开展了动态交互力激励下的人机协同行走的步态识别研究 设计了肌电和足压信息采集的多模态传感器检测硬件平台分别对单一信号开展滤波降噪、特征提取与降维等预处理将表征下肢生理信息的肌电信号与运动信息的足压信号相融合构建了支持向量机模糊 均值()多模信息融合的外骨骼助行步态识别算法开展了人机协同助行实验实验结果表明:信息融合后的人机步态相位平均识别率达到.优于使用单一信号的识别效果验证了多模信息融合算法识别人机协同步态的有效性 本研究可用于下肢外骨骼机器人运动控制为人机运动相融奠定基础关键词:外骨骼机器人多模态信息感知人机步态识别 融合算法本文引用格式:汪步云缪龙吴臣等.肌电和足压信息融合的外骨骼步态识别.兵器装备工程学报():.:.():.中图分类号:.文献标识码:文章编号:()(.):.().:引言随着人口老龄化情况加剧及下肢运动功能障碍患者数量激增下肢外骨骼机器人越来越多地被应用于运动障碍患者的康复治疗及助老助行 目前国外的、及国内的、东南大学的绳驱膝关节外骨骼等有源性外骨骼通过主动对人体髋、膝关节提供适当辅助力矩并有效纠正人体步态达到外骨骼助行的目的 此外外骨骼机器人在步态康复训练上得到了实际应用可实现训练过程中的数据检测并以可控、可重复的方式帮助康复的量化评估 目前对于外骨骼机器人能否精准识别出人体下肢运动意图是人机交互和安全助行的前提针对步态识别国内外一些学者开展了相关研究 等利用惯性测量单元和多类支持向量机提出了一种新型的多自由度踝关节 足部连续运动人机交互识别穿戴系统其通用模型在.的预测时间内达到了.的总体准确度 等将表面肌电信号进行降噪处理提取了 种特征以人工蜂群算法优化支持向量机识别步态将支持向量机的平均识别率提高了 并增加了识别的稳定性 等分别采用支持向量机()和线性判别分析()模型仅使用表面肌电信号对行走环境进行分类准确率分别为.和.上述取得了有意义的研究成果但是基于单一传感器信号的步态识别会受到许多条件限制 机械传感器能够有效采集人体运动学信息提升人体步态识别率但数据的采集与传输滞后明显 生物信号虽然能较好地用于预测人体步态但是信号采集易受外界干扰且处理复杂如表面肌电信号的噪声大且由于肌肉疲劳和皮肤干燥程度的影响信号可能会发生变化 针对上述问题本研究中首先构建了基于肌电和足压信号的多传感器信息采集平台通过降噪、特征值提取等方法对各信号进行预处理其次针对单一信号的步态识别的受限问题利用生理学和运动学信息建立了 融合算法在决策级上融合足压和肌电信息以提升步态识别效率最后开展了人机协同助行实验研究验证了步态识别方法的有效性及可行性 多传感器信息平台构建及信号预处理.人体下肢结构与步态特征分析人体下肢包含髋膝踝 个关节其主要的功能是实现关节驱动下肢运动如图()所示人体下肢基本运动平面包含矢状面、冠状面、水平面分别对应了矢状轴、冠状轴和水平轴步态是人体下肢运动过程的基本行为特征 正常步态表现为规律性与协调性的统一使人体运动保持稳定 步态分析是表征人体运动过程的重要手段 如图()所示按单侧腿相位一个步态周期可以划分为弹起相、摆动相、触地相和支撑相约占步态周期的、和.多传感器信息检测平台构建构建基于肌电和足底压力信号的多传感器信息检测平台可实现多模态信息融合提升人机步态识别的效果如图()所示肌电信号采集装置采用 表面肌电信号无线传感器()有 个电极对同一块肌肉展开测试 个电极之间的电压差值作为输出的信号值采集频宽 放大增益为 传感器与 无线接收器、系统等配合使用实现肌电信号的无线采集如图()所示足压信息检测采用课题组研制的鞋垫式足底压力传感器 该装置在对应足部的拇指、第 跖骨、第 跖骨和足跟区域分别放置 电阻式薄膜压力传感器用以感知足底压力 根据所设计的电压跟随器采集电路将信息采集电路的前、后端分开提升足压信息采集的准确性与抗干扰能力 各通道足底压力信号通过嵌入式单片机处理数据并实现无线传输汪步云等:肌电和足压信息融合的外骨骼步态识别图 人体运动基本平面、步态周期分析及传感器检测平台构建.肌电信号预处理肌电信号易受噪声干扰为便于特征提取提供有效的实验数据需对采集的肌电信号进行预处理 肌电信号预处理步骤如下:信号降噪、阈值分解、特征值提取及降维根据下肢肌肉的运动功能和特点以及肌电传感器使用的难易程度选择腓肠肌作为最初的肌电信号源 肌电信号采样频率为 采集时长 将含有噪声的肌电信号表达为 ()式()中:为原始肌电信号 为不含噪声的肌电信号为噪声信号 运用移动均值滤波算法对原始肌电信号做预处理选取窗口值 信号更平滑滤波效果更好为下文更准确地提取肌电信号变化及特征阈值提供数据基础具体表达为 ()式()中:为第 个信号值的平均值 为邻域范围从肌电信号采集的角度看一个完整的步态包含运动段和非运动段 运动段为下肢肢体运动时产生的生理电信号平均幅值较高非运动段信号为肢体放松时产生的电信号平均幅值低 因此必然存在一个合适阈值可有效判别这 种状态 定义提取尖峰的阈值 其阈值提取公式为 ()式()中:为滤波后的肌电信号 为肌电信息序号 为一般经验常数范围为.此处取值.记肌电信号阈值左边第 个采样点起到阈值右边的 个采样点止共计 个采样点数据为一个运动状态单元序列一个运动单元序列 表示为()依据阈值的大小对肌电信号进行分解处理将处理后的肌电信号按照运动单元和原有所在位置重新排列组合形成一组新的包含全部运动单元序列的肌电信号 具体表达为:()()()结合图 及表 获得图()中单步态周期内的肌电运动单元序列的具体步骤:)如图()所示结合式()原始肌电原始信号进行信号降噪获得滤波后的肌电信号)如图()所示结合式()及表 滤波后的肌电信号通过各相位尖峰阈值 曲线进行阈值分解获得肌电尖峰电位)如图()所示结合式()及式()肌电尖峰电位经过冲排列获得了单各步态周期中包含所有运动单元序列兵 器 装 备 工 程 学 报:/./的肌电信号图 肌电信号预处理.表 各相位尖峰阈值 数值表 相位支撑相弹起相摆动相触地相支撑相尖峰阈值/.肌电信号阈值分解后采用滑动窗口法分别提取绝对均值()方差()均方根()中值频率()和平均功率频率()种特征值 每滑动一个步长得到一个新的窗口数据 其中数据窗 长度取 步长 设定为 利用上述时域频域特征提取方法构建特征样本矩阵 如式()所示 代表时间窗的个数 代表特征值提取的种类 矩阵 是一个五维数据矩阵 当矩阵维数较高会增加运动识别难度和运算解算速度 因此需要对肌电信号特征矩阵做降维处理 是一种通过简化数据集突出主要变量的多元统计分析方法通过保留数据中的主要成分忽略数据中的次要成分达到降维效果即将肌电信号特征值矩阵 从 降为 ()主成分贡献率及累计贡献率决定降维后矩阵维数 贡献率 取值越大则其对应的第 个主成分表达原始信息的能力更强 若累计贡献率 取值在以上时意味着主要信息得以保留则往后的主成分可忽略 经 降维得到的主成分累计贡献率如表 所示 从表 中可以看出选用前 个主成分肌电信号的主要信息能被表达其所对应的前 个分离向量为肌电信号数据中的特征信息提取分离出的主要特征向量 ()其中、及 依次代表绝对均值()方差()均方根()表 肌电信息及累计信息贡献率 主成分特征值贡献率/累计贡献率/.足压信号预处理针对足压信号的特征提取在课题组研究基础上进一步开展相关工作 考虑到 压敏电阻的阈值特性当足底压电信号大于.时可视为对应通道传感器处于激活状态 设压敏电阻通道激活时信号标志位为 反之为非激活状态时信号标志位为 如图()所示可以看出在各个步态相位足底压力信号与肌电信号的对应情况结合图 获得图()中单步态周期内的足压信号通道激活情况的具体步骤如下:)如图()所示结合图()、图()、式()及式()从原始足底压电信号中截取单个步态周期内的信号通过信号分离模型获得各足压通道的压电信号)如图()所示结合图()及 压敏电阻的阈值特性对各通道压电信号进行阈值分解获得各信号通道激活情况足底压力实际采样点信号如图()所示 由于足底压力检测传感器采用的是 压敏电阻其压敏特性是非线性的且单个传感器与足部间的接触压力受穿戴松紧、摩擦等多种因素影响采集到的信号含有大量噪声 为了从足底压力信息中提取相应步态特征需要对足压信息进行数学建模分析所建立的模型如图()所示图()中()为足底压力原始信息设足底压力传感器采集信号的通道数为()为传感器实测数据设步态特征信号数量为()为噪声干扰()为待求解的足压分离特征信号 足压信息模型对应的矩阵表达式如下()()()()()()依据实际测量数据()进行步态特征信息的估计即有()()进一步对特征信号分析求解表达式为()()()()()()易知 为 的信号混合矩阵 为分离矩阵实现特征信号的求解分离 由式()的结果可知 应满足以下关系 ()()式()中:分离矩阵与信号混合矩阵互逆并且与信号干扰矩阵相乘为零阵若 与()的信息矩阵均为未知的则无法利用式()求解分析 通常求解分离矩阵 需要构造代价汪步云等:肌电和足压信息融合的外骨骼步态识别函数并利用优化算法求解代价函数的极值 但是实际采集的足压信号呈非负性噪声干扰难以完全滤除以及压力传感器在足底阵列排布的不规则性难以满足代价函数的假设条件 在考虑不引入分离矩阵 的前提下从原始足压数据中直接分解提取待求的特征信息图 足压信号及通道激活情况.设足底单传感器采集的压力信息为()为传感器的个数 为采样次数 为总的采样次数 采集到的足压信息构成矩阵为()矩阵 为非方阵()无法直接对其进行特征求解()可以分离原始矩阵中特征值与噪声值对矩阵 奇异值分解后可得:()式()中:为矩阵 的奇异值按从大到小的顺序进行排列为 为 的左奇异矩阵为 的右奇异矩阵均为正交阵 求解过程为:()对方阵 与 的特征分解其奇异值为相应特征值的平方根 方阵 与 的协方差矩阵 存在如下关系 ()()()()()上述矩阵中的列向量分别对应各个足压传感器的采样数据以式()按列向量交叉融合后得到协方差矩阵 对其特征分解得到左奇异矩阵 其中的向量 必然包含足压信息的特征值和干扰噪声由 的特点可知特征向量的值与其对应的奇异值大小成正比 包含信息量较大的视为特征信息反之则视为干扰项 式()的具体的分离形式如式()所示前()项为足压的特征信息剩余项为噪声干扰:()()式()、式()中:以矩阵的 范数表示信息所占比重的大小为前 项的信息量为总的信息量二者比值即为信息比重 需大于阈值 依据上一小节中 降维的设定.时认为对应的特征向量基本包含了有用信息随机选取一组足底压力数据按上述方法进行求解并做出主成分分析后得表 从表 中可以得出结论前 个奇异值的累计信息比重为.此时其所对应的前 个分离向量为将要提取的有效特征信息可得其对应的特征向量()其中、及 依次分别表示足压信号通道、及 的信号电压表 足压信息和累计信息比例表 奇异值信息量信息比重/总体信息比重/.基于 算法的步态识别.基于 的步态相位识别方法 的步态相位识别的核心思想是将非线性数据映射兵 器 装 备 工 程 学 报:/./到高维线性空间使样本间的间距最大并用分类线或者是分类超平面把 类样本分离开达到分类效果给定样本集和分类标签 其中样本集的每个样本包含多个特征向量 分类标签 分别表示正类和负类 从而求出一个最优超平面 将 种类别正确分开 针对表面肌电等非线性可分信号常引入径向基核函数()进行替换以解决样本线性可分的问题 径向基核函数为()()()最优分类超平面可表示为()()()式()中:是拉格朗日因子由于肌电信息与步态相位是动态关联的所采集的肌电需要根据步态信息完成多分类 支持向量机 ()一般通过建立多个二分类问题以达到多分类效果进而完成多相位的步态识别 采用 多分类算法识别运动状态需要给出先验知识条件 为此在采集肌电信号时配合使用三维运动捕捉系统获取人体下肢运动轨迹建立步态的分类标签 选取数据量中的 作为训练集作为测试集.基于 的步态相位识别方法本节通过模糊 均值算法()对上面提取出的特征点进行聚类分析 即将 个特征点 按其隶属于不同步态(聚类簇)的隶属度 分为若干个模糊组并求每组特征点的聚类中心()()使得由特征点与聚类中心所构成的目标函数 达到最小 目标函数如式()所示聚类中心及隶属度函数为 ()()本文中将人体行走单个步态划分为弹起相、摆动相、触地相和支撑相 个状态则模糊组 取值为 其步态相位识别算法的具体流程如图 所示为了定量评价一个完整步态相位识别结果引入一个客观评价指标 该方法的评价需要有先验的分类标签采用三维运动捕捉系统采集一组在线实验数据获取先验的步态分类标签 ()式()中:为识别错误个数为识别点个数图 算法流程.基于 信号融合的步态相位识别方法 算法对于样本间距离较大数据分类效果较好但是对于样本间距离较小的数据分类效果较差 算法是均值聚类算法的改进通过迭代计算的方法为每个数据进行隶属度判别对于样本间相似性较大的数据分类效果要好于 算法 因此本研究结合上述 种算法优点建立了一种 算法融合处理肌电表征的生理学信息和足压表征的运动学信息进一步增强运动状态的识别能力融合算法原理如图 所示图 信息融合算法原理框图.若传感器为单一数据输出时可直接使用 算法融合信息 但传感器输出的是多维数据而非一维数据因此需要对数据进一步地处理以适应融合算法 自适应加权对数据的融合有较好的效果其计算公式为 ()式()中:为传感器个数为传感器测量的有效值为各个传感器所对应的权值 设为各个传感器对应的测量方差数据的融合精度受传感器方差大小影响 当总融合方差最小时融合结果的精确度最高最终的融合模型公式为 ()()汪步云等:肌电和足压信息融合的外骨骼步态识别 将融合后的信息用类似线性函数表示 转换成矩阵形式表示为 ()数据在融合之前首先要对样本数据做均衡化处理 本文中所选用的肌电传感器采样频率是足底压力传感器采样频率的 倍因此选用均值法对肌电信号展开处理每十个采样点选取一个均值与足底压力数据进行一一对应 由于足底压力信号通道数为 因此还需要运用式()、式()自适应加权算法进行融合处理经计算对应的加权因子、的加权系数分别是.、.、.、.传感器 和传感器 采集信息经过上述方法处理后的为一维有效数据 和设传感器 在 时刻的信息有效值为()传感器 在 时刻的信息有效值为()为量化各传感器在同一时刻信号值的相关性现采用传感器信号值相似比的大小来度量 设()为 时刻信号值的相似比则()的表达式可以表示为()()/()()将各传感器的测量信号有效值看作一个集合 个传感器集合之间的相似度可以表示为()定义()为判定函数()的大小 为判别阈值表达式为()()当 时表明两传感器测量的信号值相关性比较差说明样本间距离比较远此时小于阈值部分的样本点归入集合()当 时表明两传感器测量的信号值相关性较高说明样本间距离较近此时大于阈值部分的样本点归入集合()依据 分类算法和 算法具有的优点对相关性差的数据使用 分类算法对相关性高的数据运用 算法识别运动状态基于肌电和足压信息融合的 算法的人机步态相位识别训练测试步骤具体如下:输入:样本集 ()为样本值样本类别设定样本集的 为训练集 为测试集输出:测试集的分类结果)获得传感器 和 的有效信息集合和)根据式()计算各信号间的相似比)依据判别函数式()设定阈值)时信息划入集合()此时送入 算法进行运动状态识别 时信息划入集合()此时送入 算法进行运动状态识别)更新测试集返回步骤重复步骤)步骤)直至结束 将步态相位识别结果汇总输出 实验研究.人机协同助行实验方案设计结合课题组设计的下肢外骨骼机器人开展人机协同助行实验实时采集下肢表面肌电信息和足底压力信息实验过程如图 所示 不同于静态离线穿戴实验受场地和实验过程的难易度影响从 名志愿者中选择 名志愿者作为本次动态在线实验数据采集对象 名志愿者中男女比例为 每人进行实验 次 人机协同助行实验方案如图 所示步骤如下:)试验者穿戴外骨骼并做好实验前准备)设定各传感器采样时间为 实验者保持匀速直线行走采集各传感器数据)处理各数据并通过不同方法进行相位识别)得到各组识别率并汇总识别结果图 人机协同实验方案流程框图.实验结果及分析表 及附录中表 为信息融合后的一个步态周期内的部分特征向量数据表 该步态周期的肌电运动单元序列与足压信号激活情况结合图()所示 受试者连续行走时步态相变化为“支撑相弹起相摆动相触地相”周期循环通过比较信号相似比 与式()求得的阈值 大小将特征向量归入不同集合进行步态相位识别按照时序更新并汇总测试集的识别结果运用 融合算法识别该步态周期内的步态相位 识别效果如图()与图()所示 针对单步态人机步态相位 相位识别算法能够有效区分 个步态相位验证了 方法的可行性 其中:)对于 的集合()相位识别算法利用表 的肌电信号特征向量 结合表 所示的尖峰阈值通过式()及式()进行四分类识别能有效区分 个步态相位兵 器 装 备 工 程 学 报:/./表 信息融合后的单步态周期内的特征向量数据 步态相位 信息融合后的特征向量肌电信号特征向量 足压信号特征向量 信息相似比判别阈值支撑相.弹起相.摆动相.触地相.图 人机协同助行实验步态相位识别结果.)对于 的集合()相位识别算法利用表 的足压信号特征向量 结合图()所示的足压信号通道激活状态通过式()及式()确定 个相位的聚类中心及隶属度能有效区分 个步态相位 足压信号通道激活状态参考节.的描述 结合表 足压信号特征向量 的各通道激活状态分别为支撑相()、弹起相()、摆动相()及触地相()本次实验的整体结果如图()及表(或附录中表)所示 从图 和表 总结得出基于肌电信号的 算法其平均识别率为.该识别在弹起相、摆动相、支撑相的识别率较好但触地相识别率较差仅有.主要原因是足部从摆动相向触地相转换、触地相向支撑相转换时外骨骼对关节施加了较大交互力使得人体肌肉在相位转换过程中活动程度较大 如图()个相位的尖峰阈值 较为接近易导致相位识别错误 与肌电信号相比足压信号在触地相期间更稳定 通过 识别方法比较信号相似比 及判定阈值 利用有效信息多的足压信号去弥补有效信息少的肌电信号触地相的平均识别率达到.验证了 方法的有效性此外基于足压信号的 算法的平均识别率为 并未出现识别率较差的极端情况 基于肌电和足压信号融合的 算法平均识别率为.高于运用单一信号的平均识别率 而且 人机步态识别的标准差普遍小于 人机步态识别的标准差说明基于肌电和汪步云等:肌电和足压信息融合的外骨骼步态识别足压信号融合的 算法应用在人机步态相位识别的结果离散程度较小可信度较高表 人机协同助行实验步态相位识别结果数据 识别方法平均识别率/标准差/各方法总平均识别率/弹起相.摆动相.触地相.支撑相.弹起相.摆动相.触地相.支撑相.弹起相.摆动相.触地相.支撑相.结论)针对表征下肢生理学信息的肌电信号以及表征运动学信息的足压信号分别开展了包括特征提取、降噪等信号预处理方法并匹配合适算法可有效识别外骨骼协同助行时的步态相位)提出了一种基于肌电和足压信息融合的 融合算法在弹起相、摆动相、触地相、支撑相的识别率分别达到了.、.、.、.实验数据表明该算法提升了人体穿戴外骨骼的步态相位识别率为下肢外骨骼机器人运动状态识别奠定基础)通过实验基于肌电和足压信号融合的 算法对人机协同助行的步态相位平均识别率达到了.高于运用基于单一信号步态相位识别的识别率且标准差跟小可信度更高验证了该算法用于人机步态相位识别的有效性参考文献:.():.():.:.:.():.:.():.:.():.():.:.:.():.:.:.():.兵 器 装 备 工 程 学 报:/././():.高莉俊汪步云许德章.基于步态子空间的无监督双足步行状态辨识.模式识别与人工智能():.():.丁其川赵新刚李自由等.基于自更新混合分类模型的肌电运动识别方法.自动化学报():.():.章亚男景银平沈林勇等.下肢表面肌电信号的降维和映射分析.传感技术学报():.():.熊安斌丁其川赵新刚等.基于单通道 分解的手部 动 作 识 别 方 法 .机 械 工 程 学 报():.():.韩壮马杰周刚等.基于 与 的核动力装置故障诊断方法研究.兵器装备工程学报():.():.赵学智陈统坚叶邦彦.变结构 算法及其在信号分 离 中 的 应 用 .机 械 工 程 学 报 ():.():.段有康陈小刚桂剑等.基于相位划分的下肢连续运动预 测 .浙 江 大 学 学 报(工 学 版)():.()():.科学编辑 周加永 博士(西北机电工程研究所 副研究员)责任编辑 唐定国汪步云等:肌电和足压信息融合的外骨骼步态识别