仿生足式机器人动作规划与运动控制技术综述.pdf

Robot industry Forum智能论坛引言人类大规模使用轮式车辆已逾千年，但轮式移动方式对路面平整度要求高，因此在山地丘陵或沙漠地区，人们仍依赖于马、驴、骆驼等足式哺乳动物进行物资运输与骑乘。可见，经过亿万年的进化，自然选择印证了足式哺乳动物对崎岖地形环境的适应能力。仿生足式机器人具有克服障碍和适应复杂地形的能力，可作为多自仿生足式机器人动作规划与运动控制技术综述仿生足式机器人具有克服障碍和适应复杂地形的能力，在抢险救灾等方面具有广泛的应用前景。本文针对仿生足式机器人在控制这一领域可能产生技术突破的关键点进行了讨论。首先是介绍了角色动画这一技术在机器人领域的应用发展。其次总结了轨迹优化的特点及代表性工作。再次，针对仿生足式机器人的移动控制，介绍了具有代表性的方法与成果。最后，本文对仿生足式机器人关键技术进行了总结，并讨论了未来发展趋势。文/侯晋冕、张国璇、柴汇、张勤、张国腾、许威、郭敏 20 机器人产业|ROBOT INDUSTRY 2023 年第 4 期 21仿生足式机器人动作规划与运动控制技术综述由度的移动承载平台，在非结构化地形完成任务，使其在抢险救灾等方面具有广泛的应用前景1,2。近十年来，受益于计算机的不断发展，仿生足式机器人的技术突破开始提速，仿生足式机器人迎来飞跃式发展。2015 年和2017 年，波士顿动力公司先后发布了锂电池-电机动力、液压驱动的 Spot 四足机器人和完全电驱动的 SpotMini 机器人。Spot系列四足机器人表现出高度的运动灵活性，可通过丛林、楼梯、山地等复杂地形，能在室内办公、工厂场景和室外自然环境中实现环境感知和自主导航，其配备的机械臂可实现抓取物体、开关门、开关阀门、拖拽重物等任务，是波士顿动力公司首款实现商业化的四足机器人产品，也是第一款行业级应用四足机器人，真正让四足机器人广为人知。2018 年，Di Carlo3,4等 人 提 出 了线性凸优化模型预测控制框架，在 MIT Cheetah 3 平台上实现了多步态高动态稳定运动，并对复杂地形有着极高的适应能力。随着该项目代码 MIT Cheetah Software 的开源，为学术界和工业界提供了很多有趣与实用的灵感，小型电动四足机器人产业开始得到飞速蓬勃发展。目前，仿生足式机器人可以实现高动态灵活运动：奔跑、跳跃、空翻，甚至是跳舞。支撑仿生足式机器人实现这些功能的关键因素，包括机械结构设计、驱动、感知，以及控制。针对仿生足式机器人控制这一领域，本文将从仿生足式机器人的角色动画、轨迹优化、运动控制三个关键技术层面展开综述。角色动画尽管仿生足式机器人具有出色的运动能力，但是它们的动作可以说是僵硬的，通常缺乏可以在动物身上轻松观察到的灵动自然。造成这种现象的主要原因在于，在典型运动任务中，与自然动物相比，现有的大多数仿生足式机器人倾向于遵循对称且规则的非仿生运动模式固定的身体高度、不变的前向速度、规则的小跑步态等。这些运动特征使机器人看起来显得有些刻板、毫无生气、充满机械感，同时也降低了能量利用效率。侯晋冕张国璇张国腾山东大学博士研究生山东大学硕士研究生山东大学副研究员柴 汇许 威张 勤郭 敏山东大学副研究员中兵智能创新研究院有限公司研究员济南大学副教授武汉理工大学副教授图 1 Cassie 机器人“盯地面”18Robot industry Forum智能论坛22 机器人产业|ROBOT INDUSTRY另外，爱莉希雅、罗小黑等动画角色充满活力并富有情感，然而她们只是荧屏中的虚拟人物。机器人是存在于现实世界中的非动画角色，被设计为能够自主地执行任务。为了实现与人类更有意义的互动，机器人不只需要执行任务，更需要将情感引入到其动作中机器人需要更具有亲和力。常应用于娱乐行业的动画创作是可行 的 方 法 之 一。例 如，iCAT5，其 后 的andyRobot6、Cozmo7，以及 Disneys Vibration-Minized Animated Character 8等都开发了动画引擎，使得机器人能够将多个交互式行为与动画相结合。动画创作是指导机器人行为设计的强大工具，使得动画师可以通过与视觉效果互动来设计机器人动作9,10。但是，几乎所有结合动画与机器人的研究都是在静态稳定的机器人平台上进行的，很少关注仿生足式机器人的动态特性。为了使仿生足式机器人产生的运动看起来更生动自然，我们不妨将视野转向图形学领域。在仿生运动生成这一研究方向中，图形学领域已经做了大量研究工作。最常见的做法之一，是使用预先录制的动作捕捉或图像数据来生成遵循用户高级命令的动作。Clavet 等人11提出了一种基于数据驱动的运动匹配方法，通过在整个数据库中搜索与预定义特征最匹配的运动序列来生成角色的动作序列。zhang12等人利用深度神经网络直接学习运动数据集的基础模式，然后使用训练好的神经网络为四足角色生成新的运动序列。但是该方法生成的动作不考虑物理学定律，因此需要额外的步骤将其迁移至真实系统。这种动力学与物理现实世界之间的差距，已经通过基于物理的动画技术14-16得到了解决。其主要思想是训练控制策略来跟踪仿真物理环境中的运动轨迹，进而使得虚拟智能体的运动不仅在物理上合理，而且还有可能被转移到真实系统13。Dongho17等人构建了对用户高级命令有响应的控制流程，实现了基于速度的不同步态之间的无缝切换。Li18等人将动画创作出的运动序列，通过基于动力学的非线性优化转换为动态可行轨迹，在 Cassie 双足机器人上实现了富有情感的运动，如盯地面、摇头、追逐激光等。轨迹优化当人类和动物进行复杂的运动行为时，涉及到脚与环境接触之间的快速交互。此外，在接近物理极限或克服具有挑战性的障碍物时，全身协调运动是必要的，需要预先规划好接下来的运动。设计高维轨迹，例如包含地面反作用力的全身轨迹，通常是非常困难的。在大多数情况下，由于约束的复杂性，手工设计几乎是不可行的。轨迹优化19,20提供了在任务时间范围内解决运动规划问题的机会，即同时优化由全身轨迹、步态序列和时间组成的高维变量空间。大多数与仿生足式运动相关的轨迹优化领域工作，都是在任务特定时间范围内预先计算出复杂的轨迹。由于是离线生成且专注于高阶优化，因此减少计算时间成 2023 年第 4 期 23仿生足式机器人动作规划与运动控制技术综述为了次要任务。轨迹优化可以选择一系列的动力学模型，这些模型可以帮助轨迹优化更准确地捕捉真实机器人的动态。目前，常用的动力学模型有两个。刚体动力学模型仅假定刚性连接，运动方程可以无损失地改写为质心动力学模型21,22。Budhiraja 等人23讨论了质心动力学模型和刚体动力学模型之间的动态共识。另外，单刚体动力学模型假定腿部是无质量的，这也是轨迹优化中另一个常用的模型24。Winkler25等人提出了一种基于相位的末端参数化方法，用于同时优化非平坦地形上的步态和全身运动，作者使用单刚体动力学模型与非线性规划算法求解这个问题。Medeiros26等人将这种方法扩展到轮式机器人，实现了轮式运动。然而，优化问题容易出现局部极小值，因此需要良好的初始化。Melon27等人提出了一种基于学习的方案来解决这个问题，通过离线经验进行非线性规划的初始化。运动控制开发用于仿生足式机器人的高维连续控制系统控制器，长期以来一直是热门研究领域。根据动力学模型使用的有无，运动控制可以分为基于模型的运动控制与无模型的运动控制两大类。几种基于模型的控制方法已经在各种仿生足式机器人平台上进行了大量研究，并成功地证明了其有效性。全身控制（WBC），在考虑机器人的整体动力学和物理约束情况下，优化求解可以最小化多个目标加速度跟踪误差的最优期望关节力28-31。该方法具有动态一致性和计算效率高等特点，但通常无法执行频繁的非接触式运动。模型预测控制（MPC）可以通过处理长时间域的最优控制来解决这个问题。它可以预测机器人行动的结果，并找到更长时间域内的最优控制输入，但代价是更高的计算复杂度3,32,33。近期，Kim4,34等人提出了MPC-WBC 的组合方法，可以充分结合两种方法的优点。基于启发式的运动控制方法已经实现了在崎岖地形上的运动，尤其是在感知能力下降的情况下。Focchi 等人在 HyQ 机器人上展示了一个启发式规划框架，使得机器人可以通过未知的崎岖地形35。正则化预测控制（RPC）36通过启发式正则化图 2 基于 MPC-WBC 实现多步态运动4图 3 RPC 控制器对外扰与地形的鲁棒性38Robot industry Forum智能论坛24 机器人产业|ROBOT INDUSTRY图 4 强化学习控制器在各种环境下的部署41来利用已知的动力学和运动原理。之前在MIT Cheetah 2 平台上的研究表明，通过将启发式正则化输入到预测控制中，可以同时获得启发式和优化的好处。既增加了机器人的抗干扰能力，又减少了计算时间以及局部最小值的频率。使得机器人能够在各种不同的速度以及环境不确定的情况下，使用单一的成本函数和增益集来稳定多种步态。Bledt37等人在 MIT Cheetah 3 四足硬件平台上进一步证明这种控制器是可行有效的。随后在此基础上，通过数据驱动的方式提取启发式规则用于 RPC 求解，在Mini Cheetah 机器人上验证了由于新提取的启发式而增加的能力，而无需修改控制器结构或增益38。随着机器学习与神经网络的发展，近年来基于强化学习的运动控制方法受到极大重视，它可以在不建立模型的情况下实现机器人的运动控制，基于此的腿足机器人控制方法不断被提出。Chen39等人提出一种基于 Actor-Critic 的强化学习方法来控制四足机器人的扰动恢复。Hwangbo40等人采用深度强化学习方法，直接使用关节执行器的真实数据训练一个执行动作的网络，同样在训练模型中加入刚体动力学建模的随机随性，由此仿真的结果直接在Anymal 机器人上实现比之前更快的运动速度。基于学习的方法，尤其是深度强化学习训练四足机器人的方法虽然受到越来越多的重视，但深度强化学习算法的可复现性始终是一个大问题，除去灌水论文影响，2018 年 Reddit 论坛上有学者指出很多效果良好的模型训练中修改模拟器的物理模型属性等问题，而模拟器与真实世界的差别直接限制了算法的泛化性能。2020 年，Lee41等人提出了教师-学生训练架构与自适应课程训练策略，训练得到的控制器在 ANYmal-C 上成功部署，完美解决了仿真-真实世界的零样本泛化问题。控制器可以在训练中从未遇到过的状态下保持其鲁棒性:可变形的地形（如泥 2023 年第 4 期 25仿生足式机器人动作规划与运动控制技术综述泞和积雪）、动态立足点（如碎石），以及地面上的障碍物（如茂密的植被和喷涌的水）。2021 年，Yang42等人提出了多专家学习框架，利用训练有素的专家技能和自适应策略的快速在线合成的优势，在不断变化的任务中产生对应的运动技能。在绝影机器人上成功演示了多技能运动，该机器人可以自主执行连贯的小跑、转向和跌倒恢复，并展示了多专家学习产生能够适应未知场景的行为的优点。总结在上述章节中，本文对仿生足式机器人的角色动画、轨迹优化，以及运动控制三个关键技术进行了概述，并给出了许多重要的研究成果，总结如下。（1）角色动画在机器人领域仍处于起步探索阶段。而轨迹优化需要长时间范围内离线计算，并在考虑高阶模型复杂度的情况下从零开始求解任务，限制了其在动态可变环境下的应用。未来，将角色动画与轨迹优化结合，生成既符合现实物理世界多目标约束，又种类繁多、富有情感的运动是一个非常有趣的研究方向。可以实现机器人与人类更有意义的互动，增强机器人的亲和力，进而促进机器人产业推广与应用。（2）仿生足式机器人在强化学习方面取得了令人惊叹的进展，但仍未达到人们期望的水平，同真正的生物相比有很大差距，仍有很大的发展空间。由于灾难性的遗忘问题，目前大多数强化学习往往只能够训练得到实现单一任务的策略，即使采用层级强化学习，效果往往也并不理想。因此，需要进一步增强强化学习在多任务下的泛用性。参考文献：1 Tian,Y.,Gao,F.:Efficient motion generation for a six-legged robot walking on irregular terrain via integrated foothold selection and optimizationbased whole-body planning.Robotica 36(3),333-352(2018).2 Chai,H.,et al.:A survey of the development of quadruped robots:joint configuration,dynamic locomotion control method and mobile manipulation approach.Biomimetic Intell.Robot.2(1),100029(2022).3 J.Di Carlo,P.M.Wensing,B.Katz,G.Bledt,and S.Kim,Dynamic Locomotion in the MIT Cheetah 3 Through Convex Model-Predictive Control,in 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS).Madrid:IEEE,Oct.2018,pp.1-9.4 D.Kim,J.Di Carlo,B.Katz,G.Bledt,and S.Kim,Highly Dynamic Quadruped Locomotion via Whole-Body Impulse Control and Model Predictive Control,arXiv:1909.06586 cs,Sep.2019,arXiv:1909.06586.5 A.van Breemen,Animation engine for believable interactive user interface robots,in IEEE RJS International Robot industry Forum智能论坛26 机器人产业|ROBOT INDUSTRYConference on Intelligent Robotics and Systems,Sendai,Japan,2004,pp.2873-2878.6(2020)andyrobot.Online.Available:https:/http:/ cozmo.Online.Available:https:/ S.H o s h y a r i,H.X u,E.Knoop,S.Coros,and M.Bacher,Vibrationminimizing motion retargeting for robotic characters,ACM Transactions on Graphics,vol.38,no.4,pp.1-14,2019.9 J.van Breemen and Y.Xue,Advanced animation engine for user interface robots,in IEEE RJS International Conference on Intelligent Robotics and Systems,Beijing,China,2006,pp.1824-1830.10 L.Takayama,D.Dooley,and W.Ju,Expressing thought:improving robot readability with animation principles,in Proceedings of the 6th international conference on Human-robot interaction,2011.11 S.Clavet,Motion matching and the road to next-gen animation,inProc.of GDC,2016.12 H.Zhang,S.Starke,T.Komura,and J.Saito,Mode-adaptive neural networks for quadruped motion control,ACM Transactions on Graphics,vol.37,no.4,pp.1-11,Aug.2018.13 X.B.Peng,E.Coumans,T.Zhang,T.-W.E.Lee,J.Tan,and S.Levine,Learning agile robotic locomotion skills by imitating animals,in Robotics:Science and Systems,07 2020.1 4 X.B.P e n g,P.A b b e e l,S.L e v i n e,a n d M.v a n d e Panne,DeepMimic:example-guided deep reinforcement learning of physics-based character skills,ACM Transactions on Graphics,vol.37,no.4,pp.1-14,Aug.2018.15 X.B.Peng,A.Kanazawa,J.Malik,P.Abbeel,and S.Levine,Sfv:Reinforcement learning of physical skills from videos,ACM Trans.Graph.,vol.37,no.6,Nov.2018.16 N.Chentanez,M.Muller,M.Macklin,V.Makoviychuk,and S.Jeschke,Physics-based motion capture imitation with deep reinforcement learning,in Proceedings of the 11th annual international conference on motion,interaction,and games,2018,pp.1-10.17 Kang D,Zimmermann S,Coros S.Animal gaits on quadrupedal robots using motion matching and model-based controlC/2021 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS).IEEE,2021:8500-8507.18 Li Z,Cummings C,Sreenath K.Animated cassie:A dynamic relatable robotic characterC/2020 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS).IEEE,2020:3739-3746.19 Betts J T.Survey of numerical 2023 年第 4 期 27仿生足式机器人动作规划与运动控制技术综述methods for trajectory optimizationJ.J o u r n a l o f g u i d a n c e,c o n t r o l,a n d dynamics,1998,21(2):193-207.2 0 R a o A V.A s u r v e y o f n u m e r i c a l m e t h o d s f o r o p t i m a l controlJ.Advances in the Astronautical Sciences,2009,135(1):497-528.21 Orin D E,Goswami A,Lee S H.Centroidal dynamics of a humanoid robotJ.Autonomous robots,2013,35:161-176.22 Kuindersma S,Deits R,Fallon M,et al.Optimization-based locomotion planning,estimation,and control design for the atlas humanoid robotJ.Autonomous robots,2016,40:429-455.2 3 B u d h i r a j a R,C a r p e n t i e r J,Mansard N.Dynamics consensus between centroidal and whole-body models for locomotion of legged robotsC/2019 International Conference on Robotics and Automation(ICRA).IEEE,2019:6727-6733.24 Herzog A,Rotella N,Schaal S,et al.Trajectory generation for multi-contact momentum controlC/2015 IEEE-RAS 15th International Conference on Humanoid Robots(Humanoids).IEEE,2015:874-880.25 Winkler A W,Bellicoso C D,Hutter M,et al.Gait and trajectory o p t i m i z a t i o n f o r l e g g e d s y s t e m s through phase-based end-effector parameterizationJ.IEEE Robotics and Automation Letters,2018,3(3):1560-1567.26 Medeiros V S,Jelavic E,Bjelonic M,et al.Trajectory optimization for wheeled-legged quadrupedal robots driving in challenging terrainJ.IEEE Robotics and Automation Letters,2020,5(3):4172-4179.27 Melon O,Geisert M,Surovik D,et al.Reliable trajectories for dynamic quadrupeds using analytical costs and learned initializationsC/2020 IEEE International Conference on Robotics and Automation(ICRA).IEEE,2020:1410-1416.28 M.Kalakrishnan,J.Buchli,P.Pastor,M.Mistry,and S.Schaal,Fast,robust quadruped locomotion over challenging terrain,in 2010 IEEE International Conference on Robotics and Automation.IEEE,2010,pp.2665-2670.29 Hutter M,Sommer H,Gehring C,et al.Quadrupedal locomotion using hierarchical operational space controlJ.The International Journal of Robotics Research,2014,33(8):1047-1062.3 0 B e l l i c o s o C D,G e h r i n g C,Hwangbo J,et al.Perception-less terrain adaptation through whole body control and hierarchical optimizationC/2016 IEEE-RAS 16th International Conference on Humanoid Robots(Humanoids).IEEE,2016:558-564.31 Fahmi S,Mastalli C,Focchi M,et al.Passive whole-body control for quadruped robots:Experimental validation over challenging terrainJ.IEEE Robotics and Automation Letters,2019,4(3):2553-2560.Robot industry Forum智能论坛28 机器人产业|ROBOT INDUSTRY32 Neunert M,Stuble M,Giftthaler M,et al.Whole-body nonlinear model predictive control through contacts for quadrupedsJ.IEEE Robotics and Automation Letters,2018,3(3):1458-1465.33 Ding Y,Pandala A,Park H W.Real-time model predictive control for versatile dynamic motions in quadrupedal robotsC/2019 International Conference on Robotics and Automation(ICRA).IEEE,2019:8484-8490.34 Rathod N,Bratta A,Focchi M,et al.Mobilityenhanced MPC for legged locomotion on rough terrainJ.arXiv preprint arXiv:2105.05998,2021.35 Focchi M,Orsolino R,Camurri M,et al.Heuristic planning for rough terrain locomotion in presence of external disturbances and variable perception qualityJ.Advances in robotics research:From lab to market:ECHORD+:Robotic science supporting innovation,2020:165-209.36 Bledt G,Wensing P M,Kim S.Policy-regularized model predictive control to stabilize diverse quadrupedal gaits for the MIT cheetahC/2017 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS).IEEE,2017:4102-4109.37 Bledt G,Kim S.Implementing regularized predictive control for simultaneous real-time footstep and ground reaction force optimizationC/2019 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS).IEEE,2019:6316-6323.38 Bledt G,Kim S.Extracting legged locomotion heuristics with regularized predictive controlC/2020 IEEE International Conference on Robotics and Automation(ICRA).IEEE,2020:406-412.39 Chen Y-Z,Hou W-Q,Wang J,et al.A strategy for push recovery in quadruped Robot based on reinforcement learningC/2015 34th Chinese Control Conference(CCC),2015:3145-3151.40 Hwangbo J,Lee J,Dosovitskiy A,et al.Learning agile and dynamic motor skills for legged robotsJ.Science Robotics,2019,4(26).41 Lee J,Hwangbo J,Wellhausen L,et al.Learning quadrupedal locomotion over challenging terrainJ.Science robotics,2020,5(47):eabc5986.42 Yang C,Yuan K,Zhu Q,et al.Multi-expert learning of adaptive l e g g e d l o c o m o t i o n J .S c i e n c e Robotics,2020,5(49):eabb2174.在线阅读（节选）