引言：研究人体的肌肉骨骼模型有助于类人机器人的结构和仿人运动模式的研究，属于当前具身智能研究领域的一个重要方向。人体全身的肌肉约有639块，骨骼约有206块，这些肌肉和骨骼共同构成了人体的肌肉骨骼系统，对人体全身的重量进行支撑并驱动人体运动，从而让人类可以完成行走、奔跑、跳舞等复杂的运动过程。因此，人体肌肉骨骼系统是一个具有高时空自由度的复杂动态系统，虽然当前的技术进步无法有效地测量整个人体的动态特性，但对肌骨系统的建模和模拟对理解人类运动控制以及人机交互中的人为因素非常重要。
【基本信息】
论文标题：Self Model for Embodied Intelligence: Modeling Full-Body Human Musculoskeletal System and Locomotion Control with Hierarchical Low-Dimensional Representation
作者名单：Chenhui Zuo, Kaibo He, Jing Shao, Yanan Sui
发表期刊：arXiv 预印版
发表时间：2024年12月26日
【访问链接】
论文链接：https://arxiv.org/pdf/2312.05473
项目网址：https://lnsgroup.cc/research/MS-Human-700
论文代码：暂无（预计论文发表后开源）
【科学问题】
人体肌肉骨骼系统的建模和控制对于理解人类的运动功能、发展具身智能技术以及优化人机交互系统至关重要，是现在主流的研究方向之一。
研究完整的人体肌肉骨骼系统不仅有助于对人类自身运动对研究，也有助于发展人机耦合对机器人系统，包括康复机器人、假肢、医用辅具、甚至是手术器具等，有较好的应用价值。
然而，由于肌骨模型的复杂性且受限于计算方法和计算资源，现有的人体肌肉骨骼模型往往只有有限的身体部位范围（上肢、下肢、手等），模型的肌肉数量较少（大多低于300块），缺少一个完整的能够完全模拟人类所有肌肉骨骼系统运动的全身肌肉骨骼模型。
此外，由于模型简单，当前的肌骨模型控制策略研究大多针对简单的肌骨模型，缺少能够控制超过 600 块肌肉的人体肌骨模型控制策略，对于许多复杂的人类肢体运动过程无法复现，也难以产生合理的人类运动模式。
因此，如何构建能够模拟人体全身运动模式的肌肉骨骼模型，以及如何设计控制策略来实现如此复杂的人类肌骨模型运动控制过程是该论文要解决的关键科学问题。
【核心思路】
来自清华大学的研究团队构建了一个完整的人体全身肌肉骨骼模型（MS-Human-700），具有 90 个身体节段、206 个关节和 700 个肌肉-肌腱单元，在结构上可以完整地模拟完整的人类运动过程，也允许模拟全身动力学建模及控制策略，从而可以实现与各种设备的交互运动过程。如下图所示：
图中展示了该肌骨模型所包含的肌肉-肌腱系统、关节运动自由度等人类全身肌骨模型的基本情况，以及通过结合该肌骨模型可以实现的穿戴式外骨骼机器人的交互仿真示意图、通过改变部分腿部结构可以实现的假肢仿真示意图。
主要创新部分如下：
构建了一个包含206个关节和700个肌肉-肌腱单元的人体全身肌肉骨骼模型，可在Mujoco等机器人仿真环境中使用，方便相关研究者开发自己的项目和算法；
开发了一种使用低维表示和分层深度强化学习的算法，实现了该人体全身肌骨模型的完整控制，引入了真实人类运动数据并通过策略的学习实现了模型的自主行走控制；
构建的模型不仅可以用于研究人类本身的运动模式，也可以用于研究康复机器人、假肢等智能机器人系统，主要用于研究人类如何与机器人系统进行协同运动和人机交互。
以下为该论文核心思路的详细介绍：
1. 骨骼模型
该肌骨模型选择了盆骨作为整个运动学模型树的基础，并且每个骨骼连杆都设计了质量、惯量等基本的物理属性，在骨关节的设计上包含了旋转关节和滑动关节用以模拟人类的运动关节。每根骨头都采用了欧拉拉格朗日模型来构建其动力学方程，用于在仿真环境中实现物理交互和运动仿真过程。
2. 肌肉模型
该肌骨模型一共包含700个肌肉-肌腱运动单元，是高于人类的639块肌肉的，可以提供更加丰富的运动模拟控制效果，通过控制这些肌肉在相应的骨头上施加张力来使各个关节运动。肌肉的基本运动模型采用了Hill肌肉模型来构建，使其与肌肉收缩的长度、等距的肌力、肌肉运动的速度等基本参数有关。
3. 基于强化学习的控制策略
由于该人体全身肌骨模型有复杂的运动系统，因此构建了基于强化学习方法的控制策略来学习各个肌肉-肌腱单元的控制过程，从而协同各个肌群产生运动模式来驱动整个肌骨模型的运动。
算法框架如图所示，一共包含两个阶段：收集阶段、训练阶段。其中：
收集阶段：这个阶段主要考虑了肌肉之间的运动协同性问题，从解剖学的角度将多块肌肉组成肌群，通过构建的编码器-解码器神经网络模型将多个肌肉运动的低维表示构建出来，组成肌群的活动模式，通过学习肌群的运动协同性来获得各个肌肉之间的运动协同性； 训练阶段：这个阶段主要是通过运动学采集得到的参考轨迹生成肌骨模型运动所需的运动轨迹，在此基础上构建了强化学习所需的Reward Function，从而为策略的学习提供奖励反馈，并基于真实的人类运动数据学习各个肌肉的协同控制策略。
【实验结果】
该项目设计了三个实验来验证该模型及其算法的有效性，分别是人类步行过程控制学习、可穿戴式外骨骼机器人协同运动、假肢设备协同运动。
其中：
人类步行运动模拟：从人类的运动数据中学习肌骨模型的控制策略实现控制人体全身肌骨模型向前行走的效果；
可穿戴式外骨骼机器人控制：结合人体全身肌骨模型和可穿戴式外骨骼机器人模型，通过最小化人腿和外骨骼腿之间的接触力，实现了两者的协同运动；
假肢设备控制：将右腿的小腿和脚替换为一个假肢设备，在右手上添加了一个拐杖，用于模拟步行过程中的外部干扰力，所提出的控制策略可以实现人体和假肢等协同运动。
相比于其他方法，该项目提出的方法可以获得更高的反馈分数，从而实现人体全身肌骨模型更好的运动控制效果。
实验视频如下：
最后，该项目构建的人体肌肉骨骼模型及其控制算法将提供给研究社区（论文发表以后），以促进对人类运动控制的更深入理解以及更好地设计可穿戴式机器人系统。
