近几年，机器人抓取与操控领域，特别是灵巧手的研究取得了显著进展，相关数据集的丰富性和多样性成为推动该领域研究与应用的关键基础。然而，与传统的机器人夹爪相比，灵巧手由于其高维度、多自由度的特点，使得抓取任务面临独特的挑战。
灵巧手的多指结构涉及大量自由度，这不仅增加了规划和控制的复杂性，还要求在抓取过程中动态调整手指姿态，以应对物体或环境的变化，同时保持稳定性和自然的姿势。另一方面，抓取需要符合特定的交互需求，同一个物体根据不同的需求会有不同的抓取方式。在动作轨迹之外，需要获取不同抓取轨迹的语义描述。为了推动这一领域的发展，浙江大学工业控制研究所智能无人系统团队叶琦研究组基于抓取动作生成和轨迹优化生成了一个全新的大型富语义抓取动作数据集——GraspM3。
图1 GraspM3抓取轨迹仿真演示
什么是GraspM3？
GraspM3是一个大规模灵巧手抓取动作数据集，包含超过 8,000个物体和 1,000,000 条抓取运动轨迹，并且经过精心设计和标注。无论是对机器人抓取的基础研究，还是实际工业应用，GraspM3都提供了一个更加全面的数据资源。
图2 单个物体的不同抓取轨迹和姿态（手机，印章）
数据集的核心亮点
1、百万数量级的抓取轨迹 数据集中包含1,152,000 条基于shadow hand[1]的机械手抓取动作轨迹和212,360条基于mano hand[2] 的人手抓取轨迹，涵盖了各种抓取方向和抓取姿态（如图2）。
2、多样性极高的物体库 GraspM3涵盖了8,152 个物体，种类丰富，从日常生活中的常见物品到工业环境中的复杂物体一应俱全。这些物体均来源于高质量的 3D 模型数据库[3,4,5,6]。
3、自然平滑的抓取动作 在轨迹优化过程中，我们引入了人手抓取动作的先验知识，生成的轨迹能够以类似人类的自然方式实现抓取。即使是针对剪刀、手表、杯子等具有复杂结构的物体（图4，图5），我们的优化算法也能够生成稳定、自然的抓取动作。这些抓取动作在到达交互姿态时避免了不必要的碰撞，同时在运动过程中保持了动作的自然性和合理性，展现了高水平的动态流畅性。
4、详尽的语义标注 如图3所示，我们利用大语言模型，针对每个轨迹样本，都进行详细的语义标注，其中主要包括：
o物体类别：明确分类了每一个物体，例如日用品、工具、玩具等。
o抓取方向：基于第一视角下的观察，对每条抓取动作的方向进行了细致的描述。我们将描述的的关键词要分为8个（上，下，左，右，左下，右下，左上，右上，），根据动作序列的起始位置到目标位置的方向向量来提取不同的描述用词。
o抓取类型：根据手物交互姿态，手指关节的弯曲程度，提取不同的描述用词，包括，轻柔抓握(Gentle Grasp)，捏握(Pinch Grasp) ，力量抓握(Power Grasp)，精细抓握(Precision Grasp)。
图3 语义标注流程图
接触细节：详细记录了抓取过程中的接触点和接触区域分布。针对灵巧手不同的部位接触区域的大小进行详细的描述，根据不同的接触区域面积提供不同的程度的描述用词，包括点触 (point contact)，指腹触碰 (pad contact), 部分贴合(partial fitting)，完全贴合(complete fitting). 我们相信对接触细节的描述有助于帮助研究人员分析抓取成功与失败的原因。
强大的仿真验证 我们基于 NVIDIA Isaac Gym[7] 和RaiSim[8]两个不同的仿真环境，对每个物体的抓取轨迹做数据增强，并进行大规模仿真验证，并从中过滤出抓取成功的样本，为后续的研究工作以及实物实验提供更加强有力的数据支撑。最终我们从现有的抓取轨迹样本中过滤出1,129,300条在仿真中的可靠轨迹数据
图4 Isaac Gym仿真环境下的Shadow Hand抓取（花瓶，手机，剪刀，球鞋，手表，乒乓球拍）
生成方法介绍
GraspM3数据集的创建方法如下图所示。针对灵巧手抓取面临高自由度（DOFs）和复杂抓取接触的问题，我们基于之前的工作[7,8]提出了一种基于抓取姿态合成和运动规划的两阶段的方法策略，如图4所示。
图6两阶段算法流程图
第一阶段（Grasp Synthesis），我们提出一种新颖的因式分解方法[9]，其核心思想是通过中间接触图来处理物体与抓取姿态之间的非线性映射从而为避免在高维物体点云空间中的学习困难问题，具体来说，我们设计了一种基于潜在扩散的接触图生成方法，通过假设抓取姿势完全受限于给定的接触图，将映射分解为两个连续的步骤：1）我们首先学习接触图分布以生成用于抓取的潜在接触图；2）然后学习从接触图到抓取姿势的映射。最终第一阶段能够根据不同物体的点云输入，生成不同的抓取姿态，并且提供对应的接触图信息。
第二阶段（Motion Planning），我们提出一种创新的轨迹优化方法 （TPNP）[10]，利用第一阶段的静态抓取，物体以及接触图信息，能够高效地规划出一条灵巧手抓取轨迹，并且可以有效避其过程中出现不自然的姿态。
数据集的潜在应用
机器人交互学习 GraspM3可作为深度学习和强化学习的训练和测试数据源，为机器人手的抓取能力提升提供支撑。
仿真抓取大规模验证 提供了一个标准化的基准，用于评估抓取策略和算法的性能。
现实场景模拟 语义标注和多样化的物体使数据集能够涵盖现实场景中的复杂性和多样性，有助于缩小仿真与现实之间的“域差距”。
未来展望
GraspM3的发布为研究人员和开发者提供了丰富的资源支持。我们希望这一数据集能够激发更多创新，为机器人抓取技术的发展注入新的动力。如果您对GraspM3数据集感兴趣，欢迎联系或访问我们的相关网站以获取更多信息！并希望您能引用我们的相关工作[7,8]，以共同推动这一领域的进步。
GraspM3数据集和仿真代码链接
代码地址:https://github.com/lihaoming45/GraspM3
网页链接：https://lihaoming45.github.io/GraspM3/index.html
生成方法相关链接：
https://lihaoming45.github.io/contact2grasp/index.html
https://lihaoming45.github.io/tpgp.github.io/
相关方法论文
@inproceedings{li2023contact2grasp,
title={Contact2Grasp: 3D grasp synthesis via hand-object contact constraint},
author={Li, Haoming and Lin, Xinzhuo and Zhou, Yang and Li, Xiang and Huo, Yuchi and Chen, Jiming and Ye, Qi},
booktitle={Proceedings of the Thirty-Second International Joint Conference on Artificial Intelligence},
pages={1053--1061},
year={2023}}
@inproceedings{li2024tpgp,
title={TPGP: Temporal-Parametric Optimization with Deep Grasp Prior for Dexterous Motion Planning},
author={Li, Haoming and Ye, Qi and Huo, Yuchi and Liu, Qingtao and Jiang, Shijian and Zhou, Tao and Li, Xiang and Zhou, Yang and Chen, Jiming},
booktitle={2024 IEEE International Conference on Robotics and Automation (ICRA)},
pages={18106--18112},
year={2024},
organization={IEEE}}
参考文献
[1] Sharma, Dhruv, et al. "Shadow hand."Journal of Advance Research in Applied Science ISSN 2208 (2014): 2352.
[2] Romero, Javier, Dimitrios Tzionas, and Michael J. Black. "Embodied hands: Modeling and capturing hands and bodies together."arXiv preprint arXiv:2201.02610 (2022).
[3] Hasson, Yana, et al. "Learning joint reconstruction of hands and manipulated objects." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019.
[4] Wang, Ruicheng, et al. "Dexgraspnet: A large-scale robotic dexterous grasp dataset for general objects based on simulation."2023 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2023.
[5] Taheri, Omid, et al. "GRAB: A dataset of whole-body human grasping of objects."Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part IV 16. Springer International Publishing, 2020.
[6] Brahmbhatt, Samarth, et al. "ContactPose: A dataset of grasps with object contact and hand pose."Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XIII 16. Springer International Publishing, 2020.
[7] Makoviychuk, Viktor, et al. "Isaac gym: High performance gpu-based physics simulation for robot learning." arXiv preprint arXiv:2108.10470 (2021).
[8] Hwangbo, Jemin, Joonho Lee, and Marco Hutter. "Per-contact iteration method for solving contact dynamics."IEEE Robotics and Automation Letters 3.2 (2018): 895-902.
[9] Li, Haoming, et al. "Contact2grasp: 3d grasp synthesis via hand-object contact constraint."arXiv preprint arXiv:2210.09245 (2022).
[10] Li, Haoming, et al. "TPGP: Temporal-Parametric Optimization with Deep Grasp Prior for Dexterous Motion Planning."2024 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2024.
