在类人机器人的研究中，灵巧手的抓取能力是评估其智能化水平的重要指标之一。作为类人手的核心技术，灵巧抓取不仅涉及多自由度关节的协调控制，还需要处理复杂的接触关系以及高维动作空间中的轨迹规划（如图1所示）。
图1 灵巧手抓取轨迹可视化
尤其是在面对各种形状和材质的物体时，如何高效地控制灵巧机械手并实现自然、稳定的抓取动作，成为机器人学领域的一大难题。灵巧手抓取的挑战性主要源于以下几个方面：
高维运动空间：灵巧手通常具有多个自由度，每个自由度需要精确协调，以完成复杂的抓取任务。
复杂的接触关系：灵巧机械手的手指需要与物体表面进行多点接触，这些接触点的选择和调整直接影响抓取的成功率和稳定性。由于物体的形状多样、表面特征复杂，手指的接触位置需要动态调整，以适应不同的抓取任务。
手指之间动态协调：灵巧机械手的抓取动作需要多个手指和关节之间的协同运动，这对轨迹规划提出了更高的要求。如果抓取轨迹不够自然，动作僵硬、使得接触力不均从而导致抓取失败。
方法介绍
针对上述这些困难与挑战，本工作提出了一种基于两阶段的灵巧抓取轨迹优化方法。如图2所示，第一阶段利用接触图生成来获得稳定的交互姿态；第二阶段则在此基础上，引入时序参数对抓取轨迹进行优化规划。通过这种两阶段策略，本方法能够从复杂输入高效生成自然平滑的抓取轨迹。
图2 灵巧抓取轨迹优化两阶段算法流程
静态抓取生成
第一阶段（Grasp Synthesis）主要针对静态抓取姿势的生成。为此，我们提出了一种新颖的因式分解方法，利用中间接触图有效处理物体与抓取姿态之间的非线性映射。为克服高维物体点云空间中的学习挑战，我们设计了一种基于潜在扩散的接触图生成方法。通过这一机制，第一阶段能够根据不同物体的点云输入生成适应性的抓取姿态，同时提供相应的接触图信息，为后续灵巧手轨迹规划奠定基础。
图3 展示了我们的接触图生成模型 DiffContact 的架构。
这是一种基于条件潜在扩散的生成模型，主要包含以下三个核心模块：
1. Condition-Encoder负责提取对象的形状特征，作为条件输入，确保生成的接触图能够准确反映对象的特性。
2. Generator通过将抓取接触映射到潜在空间中，实现降维，同时保留抓取接触的主要特征，以简化学习过程。并且其解码器能够将潜在空间的编码向量映射回接触图表示。
3. Diffuser通过逆转高斯分布 N(0,I)的渐进噪声扩散过程，学习接触潜在分布，并将潜在向量与对象形状特征相结合，从而生成适应不同对象输入的真实接触图。
通过在潜在空间中操作，DiffContact 有效降低了生成复杂接触图时的高维学习难度。不仅能够高效捕捉底层抓取模式，还能保留接触图的关键结构信息，显著提升接触图生成的质量和适应性。这种设计为灵巧抓取的研究提供了强大的支持。
在DiffContact中生成的高质量接触图后需要进一步转换为可用于实际抓取的具体姿势。为此，我们引入 GraspNet 模型，将接触图精准映射为抓取姿势。如图4所示，GraspNet 模型，将对象的点云O和其生成接触图 C′作为输入，通过学习两者之间的关系，预测合适的抓取姿态。
最后我们引入了局部穿透感知优化策略（Partical-Aware Pentration Refinement, PAP）优化模块，通过对局部穿透区域的检测和优化来进一步提升姿势的合理性和实用性。
图4 抓取姿态映射网络（GraspNet）
基于时序参数和姿态先验的轨迹规划
第二阶段（Motion Planning）聚焦于抓取轨迹规划。我们提出一种新颖的优化策略, 基于时序参数表示和人类抓取先验的轨迹优化方法（TPNP）。这一策略充分利用第一阶段生成的静态抓取姿态、物体形状和接触图信息，高效地规划出自然流畅的抓取轨迹，并有效避免其优化过程中出现不自然姿态。算法框架如图5所示。
图5 基于时序参数抓取先验的轨迹优化算法TPNP
与传统方法不同，我们的核心创新在于轨迹建模方式：并非逐步优化每个运动阶段的姿态参数，而是通过一个控制关节运动节奏的时序参数化函数（Temporal Parametric Mapping）对整个抓取轨迹进行统一建模。这种方法不仅减少了高自由度手部系统的优化复杂度，还能更准确地捕捉自然抓取动作的节奏变化。
在抓取过程中，尽管灵巧手的自由度极高，所有手指的运动本质上都遵循一个向内移动至目标姿态的协调节奏。为解决手部姿态不自然的挑战，我们设计了一个手部姿势网络（Neural Poser Network）。该网络先通过学习人类抓取动作的先验知识，将手部姿态编码到潜在空间中，再在潜在空间中进行优化。同时，结合接触图约束的碰撞感知机制和多阶段联合优化策略，我们进一步提升了轨迹的合理性和自然性。
此外，考虑到在轨迹优化过程中忽略目标位姿通常会导致次优解决方案。因此，我们提出目标姿态联合优化（Joint Target Optimization, JTO）来共同细化目标姿态和抓取动作。最终，这种创新方法使灵巧手能够以协调流畅的运动完成抓取，展现出接近人类的自然抓取能力。
高质量的接触图和抓取姿态生成
图6 生成接触图及对应的抓取姿态可视化
图6的可视化结果展示了我们方法在接触图和抓取姿态生成上的卓越性能。如图4所示，通过 DiffContact 模型生成的接触图能够准确捕捉物体的关键接触区域，具有清晰的结构和合理的分布。同时，与接触图对应的抓取姿态自然且稳定，展现了对物体形状和抓取先验的深度理解。这种高质量的生成能力为后续轨迹优化提供了可靠基础，使得灵巧手能够应对不同物体对象的抓取需求。
为了验证 DiffContact模型是否能够有效学习接触的潜在分布，我们对其学习到的潜在空间进行了进一步分析。具体来说，我们使用DiffContact 针对同一物体生成两种不同的接触图类型及其对应的潜在向量，分别命名为 TypeA 和 TypeB。通过在两者对应的潜在向量之间进行插值，生成一系列新向量，并将这些新向量解码为新的接触图。最后，我们将生成的接触图输入到 GraspNet 中，获得相应的抓取姿势，并观察这些新向量对应的抓取姿势和接触图是否合理且变化一致。
图7 不同接触图和对应抓取（TypeA 和 TypeB）之间的插值变化
如图7所示，我们可以清晰地看到，鼠标上的黄色箭头和圆圈标注了接触图与抓取姿势之间的细微差异。随着接触区域逐渐展开，中指平稳地移动到目标位置。此外，抓取手机时，手部姿势从握持逐步过渡为按压，展现了自然且平滑的过渡和协调性。这些实验结果证明了 DiffContact 模型在处理复杂抓取任务时的鲁棒性和生成能力
自然合理的抓取轨迹
图8 抓取轨迹可视化
我们的方法通过两阶段优化实现了从接触图到抓取轨迹的高效生成，最终产生了自然合理的抓取动作。我们对TPNP中的每个模块的都进行了独立验证，其中Baseline表示目标位姿和起始位姿之间的线性插值，没有使用优化策略的可视化结果。如图8所示，可以看出经过我们方法得到灵巧手的抓取轨迹在整个运动过程中展现出流畅性与协调性。例如，在抓取复杂形状物体（如剪刀）时，手部各关节按照合理的节奏逐步调整至目标姿态，在动态抓取过程中，轨迹平滑且精准，手部能够快速适应不同的抓取需求。
相关链接和引用：
Generating Dexterous Grasping Motion with Contact Latent Diffusion and Temporal Parametric Neural Pose Optimization （IJCAI23,ICRA24）
基于接触图扩散模型与时序参数优化的灵巧手抓取轨迹生成方法
静态抓取动作生成题目 Contact2Grasp: 3D Grasp Synthesis via Hand-Object Contact Constraint
作者：Li, Haoming and Lin, Xinzhuo and Zhou, Yang and Li, Xiang and Huo, Yuchi and Chen, Jiming and Ye, Qi
论文链接：https://www.ijcai.org/proceedings/2023/0117.pdf
动态抓取动作轨迹优化：TPGP: Temporal-Parametric Optimization with Deep Grasp Prior for Dexterous Motion Planning
作者：Li, Haoming and Ye, Qi and Huo, Yuchi and Liu, Qingtao and Jiang, Shijian and Zhou, Tao and Li, Xiang and Zhou, Yang and Chen, Jiming
论文链接：
https://ieeexplore.ieee.org/abstract/document/10610408
静态抓取动作生成：https://lihaoming45.github.io/contact2grasp/index.html
动态抓取轨迹优化：https://lihaoming45.github.io/tpgp.github.io/
@inproceedings{li2023contact2grasp,
title={Contact2Grasp: 3D grasp synthesis via hand-object contact constraint},
author={Li, Haoming and Lin, Xinzhuo and Zhou, Yang and Li, Xiang and Huo, Yuchi and Chen, Jiming and Ye, Qi},
booktitle={Proceedings of the Thirty-Second International Joint Conference on Artificial Intelligence},
pages={1053--1061},
year={2023}}
@inproceedings{li2024tpgp,
title={TPGP: Temporal-Parametric Optimization with Deep Grasp Prior for Dexterous Motion Planning},
author={Li, Haoming and Ye, Qi and Huo, Yuchi and Liu, Qingtao and Jiang, Shijian and Zhou, Tao and Li, Xiang and Zhou, Yang and Chen, Jiming},
booktitle={2024 IEEE International Conference on Robotics and Automation (ICRA)},
pages={18106--18112},
year={2024},
organization={IEEE}}
