CES 2025：英伟达世界模型Cosmos World Foundation，增强自动驾驶计算机解决方案
文摘
2025-01-10 11:45
湖北
2025年1月6日卡车技术前线消息，CES 2025：英伟达NVIDIA利用Cosmos World Foundation模型增强了三种用于自动驾驶的计算机解决方案。交通行业的领导者是首批采用Cosmos平台的公司之一。
自动驾驶汽车（AV）的开发是由三台不同的计算机实现的：·NVIDIA DGX系统用于训练数据中心中基于AI的堆栈，·NVIDIA Omniverse在NVIDIA OVX系统上运行用于仿真和合成数据生成，·NVIDIA AGX车载计算机用于处理实时传感器数据以确保安全。这些专门构建的全栈系统共同实现了持续的开发周期，加快了性能和安全性的改进。在CES展上，NVIDIA宣布了方程式的一个新部分：NVIDIA Cosmos，这是一个由最先进的WFMs生成世界基础模型（World Foundation models）、高级标记器、护栏（guardrails）和加速视频处理管道组成的平台，旨在推进自动驾驶汽车和机器人等物理人工智能系统的发展。![]()
通过将Cosmos添加到上述三台计算机解决方案中，开发人员获得了一个数据飞轮（data flywheel），可以将数千英里的人类驾驶里程转换为数十亿英里的虚拟驾驶里程，从而提高了训练数据的质量。 NVIDIA人工智能研究副总裁Sanja Fidler表示：“AV数据工厂飞轮由车队数据收集、精确的4D重建和人工智能组成，用于生成训练和闭环评估的场景和交通变化”。“使用NVIDIA Omniverse平台以及Cosmos和支持的AI模型，开发人员可以生成合成驾驶场景，将训练数据放大几个数量级” 。NVIDIA汽车副总裁Norm Marks表示：“开发物理人工智能模型传统上是资源密集型的，对开发人员来说成本高昂，需要获取真实世界的数据集，并对数据进行过滤、整理和准备以供训练”。“Cosmos通过生成式人工智能加速了这一过程，为自动驾驶汽车和机器人技术提供了更智能、更快、更精确的人工智能模型开发。”![]()
交通领导者正在使用Cosmos为自动驾驶汽车构建物理人工智能，包括：- Waabi是一家开创物理世界生成人工智能的公司，将使用Cosmos搜索和管理视频数据，用于AV软件开发和模拟。
- Wayve正在开发自动驾驶的人工智能基础模型，正在评估Cosmos作为搜索用于安全和验证的边缘和角落（corner）驾驶场景的工具。
- AV工具链提供商Foretellix将使用Cosmos以及NVIDIA Omniverse Sensor RTX API，大规模评估和生成高保真度测试场景和训练数据。
- 拼车巨头优步正在与英伟达合作，以加速自动驾驶。优步丰富的驾驶数据集，结合Cosmos平台和NVIDIA DGX Cloud的功能，将帮助AV合作伙伴更有效地构建更强大的AI模型。
Cosmos World Foundation（简称Cosmos WFMs）是由英伟达在2025年CES上宣布推出的一项重要技术。Cosmos WFMs专为理解物理世界而设计，能够预测和生成“物理感知”的视频，适用于低延迟和实时应用、高性能基线模型以及最高质量和保真度输出Cosmos WFMs分为三类：Nano、Super和Ultra。Nano适用于低延迟和实时应用，Super是高性能基线模型，而Ultra则提供最高质量和保真度输出。这些模型的参数规模从40亿到140亿不等，Nano最小，Ultra最大Cosmos WFMs的应用场景非常广泛，包括视频搜索和策划、自动驾驶汽车的AI模型构建、增强现实优化视频解码器以及确保负责任使用的guardrail模型等。此外，该技术还可以用于生成基于物理的高清视频，适用于视频搜索、合成数据生成和强化学习等应用。Cosmos WFMs的推出标志着物理AI系统的重大进步，简化了数据处理过程，使得开发者能够更加专注于模型的设计和优化。该技术平台集成了生成式世界基础模型、视频标记器、安全防护机制以及加速数据处理管道，能够帮助开发者在减少对真实世界数据依赖的情况下创建和优化AI模型。多家企业已经开始采用Cosmos进行AI开发，包括Agile Robots、XPENG、Waabi和Uber等。 Cosmos WFM现已在Hugging Face和NVIDIA NGC目录上以开放模式许可证提供。Cosmos模型很快将作为完全优化的NVIDIA NIM微服务提供。
