光轮智能借助 NVIDIA Isaac Sim,通过 3D 生成与建模技术构建高度逼真的虚拟场景,将现实世界的复杂场景抽象并转化为高质量的训练数据源,从而更有效地满足模型的多样化训练需求。
AI 正从以算法为中心向以数据为中心的时代演进。高质量且丰富的训练数据,已成为推动创新的核心资源。特别是在具身智能应用中,数据的稀缺极大限制了模型能力的提升和潜在应用的拓展。传统数据采集方式成本高昂、耗时漫长,例如谷歌的 RT1 和 RT2 项目共使用了 13 台机器人,耗时 17 个月才完成数据收集,显然难以支撑具身智能的发展需求。
因此,构建数据金字塔已成为突破数据瓶颈的关键。数据金字塔的根基由海量的非结构化网络数据组成,顶端由采集成本高昂的少量真实数据构成,有利于智能体高效且直接地进行知识迁移。合成数据的加入填补了前两者间的空缺,在采集成本、可泛化性与知识迁移方面拥有明显优势。真实数据、互联网数据与合成数据相互补充,共同构建了具身智能体训练的坚实基础。合成数据的引入不仅有效降低了数据采集成本,还通过高度拟真的物理模拟,提供了强大的泛化能力,为智能体在多样化场景中的应用打下基础。
图 1. 德克萨斯大学奥斯丁分校教授、
NVIDIA GEAR Group Co-lead,
Yuke Zhu 教授对数据金字塔的定义
打造高质量、可交互、可扩展的
具身智能仿真资产库与仿真训练平台
具身智能的关键目标之一是实现高度的通用性,使智能体能够在复杂场景中灵活执行多种任务。这种泛化能力的实现要求智能体具备对空间的深度认知,包括实时理解与适应环境中物体的位置、关系及动态变化。相较于传统的任务特定型智能体,具身智能体必须在陌生环境中迅速识别并推理出空间结构、时序事件及其相互关系,以有效适应任务。
NVIDIA Isaac Sim 为光轮智能生产合成数据提供了强大支持。Isaac Sim 通过物理驱动的虚拟环境,支持智能体算法的设计、模拟与测试。借助 NVIDIA PhysX® 5 高级 GPU 物理模拟技术,平台实现了实时光线和路径追踪的逼真效果,并通过 MDL 材料定义支持物理渲染,使开发者能够基于通用场景描述(OpenUSD)构建自定义模拟器,提供真实的物理反馈和高度还原的交互体验。同时,平台还支持多种开放标准和格式,如 USD、FBX、OBJ 等,便于用户导入和导出不同的 3D 模型和场景。
光轮智能基于 Isaac Sim 构建的合成数据解决方案,能够高效提升具身智能公司的模型能力。光轮智能已积累了丰富的 OpenUSD 格式场景资产,支持任务级、物体级、场景级的物理可交互资产、数据的可控生成与泛化,并基于验证平台进行合成数据真实性和效用性的评测。
案例 1. 交互过程的物理参数随机化与动态真实性
使用高质量、可泛化的
合成数据助力模型性能提升
基于“Real2Sim2Real+Realism Validation”的核心技术栈,光轮智能推出基于 3D 混合渲染,具有物理真实、高度交互的合成数据产线及以数据为中心的端到端智能体算法解决方案。光轮智能旨在利用合成数据放大人类示范效用,通过闭环仿真加速 Self-play RL,加速具身智能落地。
光轮智能的仿真框架使用基于 3DGS 技术重建的场景,并通过场景资产的混合渲染,显著提升了训练场景的泛化能力。同时,真实的物理引擎能提供准确的反馈,助力模型实现更高效的知识迁移。高质量的仿真框架支持光轮智能在模型训练方面积极创新,通过在仿真器中直接训练等方式,进一步提升模型性能。
案例 2. 场景和物体元素的随机泛化
案例 3. 3D 混合渲染用于具身智能模型训练与评测
光轮智能致力于为企业推动 AI 落地提供合成数据解决方案,重点从具身智能场景切入,结合生成式 AI 和仿真技术,提供多模态、高质量、可泛化、可扩展、全链路的数据,助力 AI 在真实世界部署,加速具身智能行业发展。
*本文视频和图片均来源于光轮智能,如果您有任何疑问或需要使用视频和图片内容,请联系光轮智能。