基于生物力学分析的人体意图预测实验设计_罗晶.pdf

实 验 技 术 与 管 理 第 40 卷 第 4 期 2023 年 4 月 Experimental Technology and Management Vol.40 No.4 Apr.2023 收稿日期:2022-08-26 基金项目:国家自然科学基金项目（62203341）；中央高校基本科研业务费专项资金资助（2022IVA044）作者简介:罗晶（1987），男，湖南长沙，博士，副研究员，主要研究方向为机器人与人机协作，。通信作者:庞牧野（1985），男，山东东营，博士，副教授，主要研究方向为穿戴式机器人及设计，。引文格式:罗晶，李思，唐必伟，等.基于生物力学分析的人体意图预测实验设计J.实验技术与管理,2023,40(4):40-46.Cite this article:LUO J,LI S,TANG B W,et al.Experimental design of human intention prediction based on biomechanical analysis J.Experimental Technology and Management,2023,40(4):40-46.(in Chinese)ISSN 1002-4956 CN11-2034/T DOI:10.16791/ki.sjg.2023.04.005 基于生物力学分析的人体意图预测实验设计 罗 晶，李 思，唐必伟，向 馗，庞牧野（武汉理工大学 自动化学院，湖北 武汉 430070）摘 要：为实现人体运动意图预测，该文提出一种基于粒子群优化（particle swarm optimization，PSO）算法优化回声状态网络（echo state network，ESN）的模型预测控制（model predictive control，MPC）方法。首先，利用运动捕捉系统获得人体动作运动学信息，通过 OpenSim 软件反解算获取动力学信息；其次，以动力学信息为输入，运动学信息为输出，构建人体骨骼肌肉系统的 ESN 模型，并利用 PSO 算法优化 ESN 模型的关键参数；同时，将线性化后的 ESN 模型作为 MPC 控制对象，通过运动学信息，反优化 MPC 目标函数，求解目标结果，完成对人体运动意图的预测；最后，通过比较实验验证了所提方法的有效性。该方法对人体运动意图预测及穿戴式机器人控制算法设计等相关应用研究与教学实践具有实际意义。关键词：人体运动意图预测；粒子群算法；回声状态网络；模型预测控制；实验设计 中图分类号：TP242.6 文献标识码：A 文章编号：1002-4956(2023)04-0040-07 Experimental design of human intention prediction based on biomechanical analysis LUO Jing,LI Si,TANG Biwei,XIANG Kui,PANG Muye(School of Automation,Wuhan University of Technology,Wuhan 430070,China)Abstract:Aiming at the prediction of human motion intention,a model predictive control(MPC)method based on particle swarm optimization(PSO)algorithm with optimized echo state network(ESN)is proposed in this paper.Firstly,the human motion kinematics and dynamics information are obtained by the motion capture system and OpenSim software calculated,respectively.Then,the ESN model of human skeletal muscle system is constructed with dynamic information as input and kinematics information as output,and the PSO algorithm is used to optimize the key parameters of ESN model.At the same time,the linearized ESN model is regarded as the control object that used to obtain the object result through using the kinematics information and inverse-optimizing the MPC control function in order to finish the prediction of human motion.Finally,the proposed method is verified by the comparative experiments.This method is of actual significance for application research and practical teaching with relation to human intention prediction and wearable robotics control algorithm design.Key words:human motion intention prediction;particle swarm optimization;echo state networks;model predictive control;experimental design 人体运动控制意图获取是指提取人体运动时神经中枢对人体各关节的潜在控制策略。有效表征运动控制意图，并将其映射到穿戴式机器人的控制框架，可实现对穿戴式机器人的精准仿生控制。穿戴式机器人需要时刻跟随人肢体运动，在机器人控制回路中引入基于人体主观控制意图的信息，将有助于增强机器人控制的实时性、准确性与双向感知能力1-2。因此，对人体运动控制策略或控制意图进行准确、高效的提取，罗 晶，等：基于生物力学分析的人体意图预测实验设计 41 对于穿戴式机器人的研究具有重要意义。目前，人体运动意图识别方法主要分为两种：在人体表皮安装传感单元，通过解码分析测得的肌电信号或脑电信号，获取人体运动意图3-6。肌电信号可以反映肌肉的激活程度，从而准确地估计肌肉产生的力和关节力矩。利用外骨骼机器人自身配备的力/力矩传感器，测量人体与外骨骼的交互信息以获取穿戴者的运动意图7-8。上述两种方法虽然能识别人体运动行为，估计离散运动模式，但难以表征某一特定动作的连续变化特征。且这两种方法都容易受到外界环境干扰，信号测量精度受限，肢体与传感器的间歇性接触也容易导致运动模式识别错误。因此，为准确获取人体潜在控制意图，有学者提出优化控制框架9-10，假设人体运动由内部模型进行控制，在生物力学约束下，产生特定运动行为。受到上述研究启发，本文利用模型预测控制对人体运动时的控制策略进行提取，从而实现对人体运动意图的准确预测。为提升人体运动意图预测的准确性，基于寻优算法与神经网络提出了一种优化的模型预测控制方法。在人体运动过程中，利用运动捕捉设备与OpenSim 采集人体运动学生物力学信息，同时基于回声状态网络和模型预测控制构建人体运动意图预测模型。根据任务需求，利用模型预测控制良好的优化预测能力，可以实现准确的人体运动意图预测。与传统人体意图预测方法相比，本文所提方法不需要构建复杂的人体运动模型，具有效率高、结构简单等优点，能够适应不同任务下人体运动意图预测需求，可为人体建模与分析、穿戴式机器人设计等领域提供帮助。本文首先从理论上介绍基于优化的模型预测控制方法，并详细阐述了 ESN 的建立与训练，基于 ESN人体骨骼模型的构建以及相应模型预测控制方法；接着设计了相应的实验，验证所提方法的有效性；最后对本文内容进行了总结与展望。1 算法设计 1.1 回声状态网络的建立与训练 ESN 网络结构简单、计算量少，主要包括输入层、动态储备池和输出层 3 个部分。和传统 RNN 相比，训练 ESN 时只需确定储备池与输出层之间的连接权重矩阵，极大地减少了模型训练时间。ESN可以利用储备池生成一个随输入不断变化的复杂状态空间，通过内部状态线性组合求解对应的输出。当状态空间足够复杂时，可以利用 ESN 来模拟人体骨骼肌肉系统的动态特性。假设 ESN 模型输入层包含 K 个神经元，储备池包含 N 个神经元，输出层包含有 L 个神经元，则人体骨骼肌肉系统模型的状态更新方程和输出方程为 inbackout(1)(1)()()(1)(1)tfttttt+=+=+xW uWxWyyWx（1）其中，()K Ru表示控制输入向量，()N Rx表示状态向量，()L Ry表示系统输出向量；()f 是非线性激活函数，通常使用双曲正切函数（()tanh()f ss=）；inN KRW、N NRW、backN LRW和outL NRW分别表示输入层到储备池、上一时刻储备池到当前储备池、输出层到储备池、储备池到输出层之间的连接权重矩阵。训练或使用ESN时，由于储备池内部连接是随机生成的，导致由最开始的输入序列得到的储备池状态具有较大噪声，因此需要丢弃部分初始实验数据，避免初始状态对网络的影响。ESN的权重矩阵inW、W、backW由随机初始化生成，在模型训练及使用过程中固定不变，训练人体骨骼肌肉系统模型时只需要求解式（2）所示的线性回归问题即可确定outW矩阵的值：2out11min()()Mk mkkMm=+-yWx（2）其中，M表示样本数据个数，m表示舍弃掉的用于清洗ESN的数据个数。使用最小二乘法对该线性回归问题进行求解，可得 TT1out()-=WYXXX（3）其中，()NMm-RX为状态向量组成的状态矩阵；()LMm-RY为期望输出向量组成的输出矩阵。ESN训练输入为人体动力学信息，通过OpenSim逆解算获得；输入为运动学信息，通过动捕系统直接采集获得。1.2 基于优化 ESN 的人体骨骼肌肉模型构建 由生物力学信息和ESN构建的人体肌骨模型的核心结构是动态储备池，其各项参数决定了肌骨模型的好坏11-12。但动态储备池具有黑盒特性，无法直接通过数学计算推导出模型中动态储备池的最优参数，其特性难以确定。在ESN构建过程中，模型参数选择一般依靠经验和重复调试，使得算法难以达到最佳性能。因此，如何确定特定对象的储备池规模、储备池内部连接权谱半径和储备池稀疏程度是本算法设计的重点13-14。粒子群优化算法是一种寻找多维搜索问题的最优解或次最优解的优化算法。在PSO中，个体被称为粒子，粒子按一定规则在解空间内不断运动，从而搜索出解空间中适应度最高的位置，得到最优解。本文将PSO用于优化人体肌骨模型储备池的3个重要参数：储备池规模N、储备池内部连接权谱半径SR、储备池稀疏程度SD，具体过程如下：42 实 验 技 术 与 管 理 1）初始化粒子群。设置粒子群中粒子个数，初始化每个粒子的初始速度和位置。粒子个数根据实际问题选取，如果粒子群太小，无法提供足够的采样点，算法性能无法保证，如果粒子群太大，可以增加算法的优化效果，但会增加计算量。一般来说，粒子维数越高，大种群的搜索精度越准确。同样，在低维度的情况下，适当的小种群在准确性和收敛速度方面表现出良好的性能。每个粒子的初始速度和位置一般在解空间内随机生成，在PSO优化ESN算法中，解空间为3个维度，包括N、SR和SD，每个维度的范围如式（4）所示。54000SR10SD0.3N|，则设置d()ixt为dmaxx。5）返回2），直至满足终止条件。1.3 基于模型预测控制的人体运动意图预测 基于上述优化的人体肌骨模型，利用MPC可以对有约束系统进行最优控制的特性，构建人体运动意图提取方法15。假设建立的人体运动意图预测模型为 (1)()(1)(1)(1)kkkckk+=+=+xAxBuyDx（6）为消除常数项c，利用增量形式对式（6）进行处理，可得 (1)()(1)(1)(1)kkkkk+=+=+xA xB uyD x（7）其中：()()(1)()()(1)()()(1)kkkkkkkkk=-|=-|=-xxxuuuyyy（8）MPC是一种循环优化算法：在每个采样时刻k，测量当前系统状态，通过在约束条件下使代价函数最小化得到最优输入向量。假设在采样时刻k，系统状态为()kx，将()()(1)kkk=-xxx作为预测起点，根据式（7）可以预测未来控制时域内的状态增量：cc2321c(1|)()(1|)(2|)(1|)(2|)()(1|)(2|)(3|)(2|)(3|)()(1|)(2|)(3|)(|)()(1|)NNkkkkkkkkkkkkkkkkkkkkkkkkkkkkkkNkkkk-+=+=+=+=+=+=+xA xB uxA xB uAxAB uB uxA xB uAxA B uAB uB uxAxAB ucc(1|)(|)kNkkNk+-+AB uB u（9）其中，|ki k+表示在采样时刻k对ki+时刻的预测，cN表示控制时域。进一步，可以由式（7）中的输出方程对输出增量进行预测，得到 1(|)()(1|)(1|)(|)iiki kkkkkikki k-+=+-+yA D xABD uABD uB u（10）其中，c1,2,iN=。对于式（7），通常设计特定的代价函数可以计算预测范围内的最优控制。对于本文所提算法而言，系统输出为人体各关节运动学信息，控制输入为各关节力矩。2 人体意图预测实验 2.1 实验设置 为验证所提方法的有效性，本文设计了人体运动 罗 晶，等：基于生物力学分析的人体意图预测实验设计 43 意图预测实验框架，并搭建了对应的实验平台（图1）。实验设置如下：首先进行运动实验，使用运动捕捉系统、测力平台等设备采集人体运动时生物力学相关数据；然后利用ESN和PSO建立人体肌骨系统；最后利用MPC预测人体运动意图。本实验中，人体动作设计为3个不同深度的下蹲，即受试者一共需要进行3组试验。在每组试验中，受试者需要连续重复5次同一动作。其中，运动的深度和角度由受试者的偏好自行选择。受试者站在运动捕捉实验室的测力平台上进行动作。人体运动实验标记集如图2所示，其中粉红色小点代表标记点位置。运动捕捉系统使用50 Hz采样频率记录运动学数据，测力平台使用1 000 Hz采样频率记录人体运动时的地面反作用力、力矩和压力中心位置等数据。图 1 实验框架图 图 2 实验标记集 获取数据后，使用滤波器将运动捕捉系统采集到的运动学数据重新采样到1 000 Hz。将所有数据导入OpenSim中，经过模型缩放、逆运动学和逆动力学解算后，即可得到所需的关节角度和关节力矩。在本实验中，选择使用OpenSim中的gait2392模型，该模型具有23个自由度以及下肢和躯干中的76块肌肉。图3展示了该模型对受试者运动的复现。图 3 模型复现受试者下蹲动作 获取到建模所需的关节角度和关节力矩等数据后，在MATLAB中使用PSO算法对ESN模型参数进行优化。在本实验中，使用踝关节、膝关节、髋关节和腰椎关节4个自由度，即将踝关节、膝关节、髋关节和腰椎关节的关节力矩作为ESN模型的输入，相应的关节角度作为模型的输出。最后，通过对ESN模型的线性化，获得人体肌骨系统模型，使用模型预测控制框架提取人体运动控制 44 实 验 技 术 与 管 理 意图。根据运动目标姿态，获取模型预测控制中的最优控制输入序列，并将其作为人体运动控制意图作用于人体肌骨模型，比较模型输出与期望输出之间的误差，验证所提出方法的有效性。2.2 实验采集与处理 gait2392模型默认表示身高1.8 m、质量75.16 kg的人体对象，而受试者身高为1.76 m、质量为60 kg，与默认模型不相符，因此需要对默认gait2392模型进行缩放。通过比较受试者处于静态站姿时实际标记点之间的距离和未经缩放的模型上虚拟标记点之间的距离，调整模型中每一肢体的缩放比例因子，从而使模型与实验对象相匹配。然后，基于运动捕捉系统实验数据，使用逆运动学（inverse kinematics，IK）解算估计受试者关节角度。运动学是在不考虑产生动作的力和力矩的情况下对运动的研究。在OpenSim中，IK工具遍历动作过程中的每一个时间帧，基于实验标记点的位置，通过最小二乘（式（11）优化各关节角度，使缩放后的模型虚拟标记点与受试者的实际标记点匹配，从而复现受试者的运动过程，获取所需的关节角度。exp2markers(min)iiiiw xx q|-|（11）式中，expix表示实验标记点的位置；()ix q表示对应虚拟标记点的位置；iw是标记点对应的权重，markers表示所有标记点集合。最后，利用逆动力学（inverse dynamics，ID）对受试者运动时的关节力矩进行求解。OpenSim中的ID工具可以根据逆运动学得到的关节角度和测力平台测量得到的外部载荷数据（即地面反作用力、力矩和压力中心位置等）进行逆动力学分析，得到每个关节产生运动时的关节力和力矩。获得建模所需的关节角度和关节力矩等数据后，需要对数据进行后处理。先根据式（12）归一化数据，使每个数据都在0，1区间内：minmaxminxxxxx-=-（12）其中，maxx、minx分别表示本组数据中的最大值和最小值。归一化后，将所有数据分为两部分，前60%作为训练数据集，后40%作为测试数据集，每个数据集的前1 000条数据作为清洗数据，在清洗完毕后舍弃，不再用于训练或测试过程。2.3 人体运动意图预测实验结果分析 使用式（13）所示的归一化均方根误差（NRMSE）对本文所提方法的建模效果进行评价：rp 21r()1NRMSEvar()niiiyyny=-=（13）其中，ry和py分别表示参考值和预测值；n表示数据量；var表示方差函数。本文使用粒子群优化算法对ESN参数进行寻优，粒子群规模设置为10，迭代次数为100，粒子速度更新系数w、1c、2c分别为0.8、1.5、1.5。通过PSO算法得到的人体骨骼肌肉系统最优参数如表1所示。表 1 PSO-ESN 模型参数 参数 值 储备池规模 N 218 储备池谱半径 SR 0.955 1 储备池稀疏程度 SD 0.003 7 使用下蹲动作的测试数据集分别对普通ESN模型和PSO-ESN模型效果进行测试，得到的模型输出和实际输出（参考值）如图4所示，4个关节的测试误差如表2所示。由图4中传统ESN和PSO-ESN的建模效果对比可以发现，相较于传统ESN模型，本文提出的PSO-ESN模型实现了模型参数的自适应调整，避免了因模型选择的盲目性而造成的模型精度损失，从而具有更小的建模误差和更精确的建模效果。PSO-ESN模型的训练和测试耗时仅4.424 s，计算量较小，建模过程简单。表 2 下蹲动作测试误差 关节 ESN 模型 PSO-ESN 模型 髋关节 0.153 2 0.080 4 膝关节 0.092 5 0.080 9 踝关节 0.103 2 0.075 0 腰椎关节 0.156 2 0.126 3 建立人体肌骨系统模型后，在下蹲动作中随机挑选连续的2 000条（2 s）数据进行模型预测控制，提取人体运动控制意图。预测控制结果（预测值）和期望输出（参考值）如图5(a)所示，模型预测控制误差曲线如图5(b)所示。由实验结果可知，相对于传统ESN模型，基于PSO-ESN的人体骨骼肌肉系统模型预测控制输出和期望输出误差更小，能使系统输出更好地跟踪参考输出轨迹，更准确地模拟人体运动控制意图。3 结论 本文将神经网络、智能算法与模型预测控制技术相结合，提出了一种基于生物力学的人体运动意图预测方法。该方法通过采集人体生物力学信息，利用ESN强大的数据拟合能力构建人体肌骨模型，并利用MPC提取人体运动意图。在对人体肌肉骨骼系统进行建模的过程中，使用ESN简化建模过程并使用PSO算法 罗 晶，等：基于生物力学分析的人体意图预测实验设计 45 图 4 下蹲动作中基于 PSO 和 PSO-ESN 模型测试结果 图 5 下蹲动作中 MPC 测试结果 对ESN模型参数进行寻优，以优化建模效果。实验就下蹲动作进行仿真与验证，结果表明：PSO算法避免了ESN模型中关键参数选择的盲目性，PSO-ESN模型对人体骨骼肌肉系统这类非线性系统具有较好的建模能力，所提算法能较准确地提取出人体运动控制意图。与传统的人体运动识别方法相比，本方法可连续预测人体运动行为，具有效率高、结构简单等优点，对于穿戴式机器人设计相关的实验教学和研究具有现实意义。参考文献(References)1 TUCKER M R,OLIVIER J,PAGEL A,et al.Control strategies for active lower extremity prosthetics and orthotics:A reviewJ.Journal of Neuro Engineering and Rehabilitation,2015,12(1):130.2 ZHAO X G,TAN X W,ZHANG B.Development of soft lower extremity exoskeleton and its key technologies:A surveyJ.Robot,2020,42(3):365384.3 DONATI A R C,SHOKUR S,MORYA E,et al.Long-term 46 实 验 技 术 与 管 理 training with a brain-machine interface-based gait protocol induces partial neurological recovery in paraplegic patientsJ.Scientific Reports,2016,6:30383.4 DONG L,CHEN W,PEI Z,et al.A brain-controlled lower-limb exoskeleton for human gait trainingJ.Review of Scientific Instruments,2017,88(10):104302.5 KWAK N S,MUELLER K R,LEE S W.A lower limb exoskeleton control system based on steady state visual evoked potentialsJ.Journal of Neural Engineering,2015,12(5):056009.6 XU R,JIANG N,MRACHACZ-KERSTING N,et al.A closed-loop braincomputer interface triggering an active anklefoot orthosis for inducing cortical neural plasticityJ.IEEE Transactions on Bio-medical Engineering,2014,61(7):20922101.7 LENZI T,CARROZZA M C,AGRAWAL S K.Powered hip Exoskeletons can reduce the users hip and ankle muscle activations during walkingJ.IEEE Transactions on Neural Systems&Rehabilitation Engineering,2013,21(6):93948.8 FINEBERG D B,ASSELIN P,HAREL N Y,et al.Vertical ground reaction force-based analysis of powered exoskeleton-assisted walking in persons with motor-complete paraplegiaJ.The Journal of Spinal Cord Medicine,2013,36(4):313321.9 REBULA J R,SCHAAL S,FINLEY J,et al.Vertical ground reaction force-based analysis of powered exoskeleton-assisted walking in persons with motor-complete paraplegiaJ.IEEE Robotics and Automation Letters,2019,4(4):45314538.10 RAMADAN A,CHOI J,RADCLIFFE C J,et al.Inferring control intent during seated balance using inverse model predictive controlJ.IEEE Robotics and Automation Letters,2018,4(2):224230.11 范思远，姚显双，曹生现，等.基于延迟回声状态网的光伏电池板温度预测方法J.自动化学报，2020,46(12):27012710.12 WEI L,HAITIAN L.Electrical load forecasting using echo state network and optimizing by PSO algorithmC/2017 10th International Conference on Intelligent Computation Technology and Automation(ICICTA).ChangSha,China:IEEE,2017:394397.13 AHMAD Z,NIE K,QIAO J,et al.Hybrid structure based PSO for ESN optimizationC/2019 IEEE Symposium on Product Compliance Engineering-Asia(ISPCE-CN).Hong Kong,China:IEEE,2019:15.14 伦淑娴，胡海峰.基于罚函数内点法的泄露积分型回声状态网的参数优化J.自动化学报，2017,43(7):11601168.15 罗晶，陈金海，彭志轩，等.基于机器视觉的机器人抓取实验系统J.实验技术与管理，2022,39(4):4550.（编辑：张利芳）（上接第39页）14 WU Z,SONG S,KHOSLA A,et al.3D shapenets:A deep representation for volumetric shapesC/Proceedings of the IEEE conference on computer vision and pattern recognition.Boston,MA,USA:IEEE,2015:19121920.15 CHEN D Y,TIAN X P,SHEN Y T,et al.On visual similarity based 3D model retrievalC/Computer graphics forum.Oxford,UK:Blackwell Publishing,Inc,2003:223232.16 SU H,MAJI S,KALOGERAKIS E,et al.Multi-view convolutional neural networks for 3d shape recognitionC/Proceedings of the IEEE international conference on computer vision.Santiago,Chile,2015:945953.17 FENG Y,ZHANG Z,ZHAO X,et al.Gvcnn:Group-view convolutional neural networks for 3d shape recognitionC/Proceedings of the IEEE conference on computer vision and pattern recognition.Salt Lake City,UT,USA.2018:264272.18 YADATI N,NIMISHAKAVI M,YADAV P,et al.HyperGCN:A new method for training graph convolutional networks on hypergraphsJ.Advances in Neural Information Processing Systems,2019,32:15111522.19 BAI S,ZHANG F,TORR P H S.Hypergraph convolution and hypergraph attentionJ.Pattern Recognition,2021,110:107637.（编辑：张利芳）