黄仁勋:通用机器人的ChatGPT时刻即将到来!马斯克:YES!!

科技   2025-01-09 07:30   山东  

温馨提示点击下方图片,查看公众号“Robot猎场备忘录”运营团队(12月整理)原创报告(共195页)

说明:欢迎约稿、刊例合作、行业人士交流行业交流记得先加入“机器人头条”知识星球,后添加(微信号:lietou100w)微信,备注“称呼+所在公司+职位”或者“已加入星球”(非备注,不添加);若有侵权、改稿请联系编辑运营(微信:li_sir_2020),若转载请注明出处;
——

正文:

2025年1月7日,全球科技盛会CES2025(国际消费电子展)正式开幕,芯片巨头、AI时代“卖铲人”和最大受益者【英伟达】创始人兼CEO英伟达CEO黄仁勋进行开幕主题演讲,涉及到的话题包括 GPU、AI、游戏、机器人、自动驾驶、芯片等诸多热点话题。

演讲中,黄仁勋表示:通用机器人的ChatGPT时刻即将到来;并表示:智能体AI之后,AI的下一个前沿就是物理AI;提出将继续与全球多家知名的机器人解决方案提供商、操作系统企业、AI视觉技术公司、机器人传感器制造商以及本体制造企业等携手合作,共同打造机器人生态系统。

小编着重介绍本次英伟达人形机器人相关产品:世界基础模型开发平台Cosmos和合成运动生成的Omnvierse Blueprint

Cosmos:开源、可商用的生成式世界基础模型开发平台(WFM),它基于2000万小时数据集完成训练,能够将文本、图像、视频作为输入,可以生成虚拟世界状态、视频;该平台包含多个功能模块,比如扩散模型、自回归模型、视频分词器,开发者还可以通过微调Cosmos wfm来构建定制模型;该平台专门为机器人和自动驾驶的开发而设计,有三款Nano(约15B)、Super(34B)、Ultra(约70B)目前1X、Agility Robotics等机器人公司和XPENG、Uber和Waabi等自动驾驶公司都已经与Cosmos合作开发模型。

Cosmos 模型已经公开发布,下面是相关地址:

  • 英伟达 API 目录:https://build.nvidia.com/explore/simulation

  • Hugging Face:https://huggingface.co/collections/nvidia/cosmos-6751e884dc10e013a0a0d8e6


合成运动生成的NVIDIA Isaac GR00T Blueprint可帮助开发者通过少量的人类演示,生成大量合成数据,以使用模仿学习来训练他们的人形机器人;通过实施Isaac GR00T合成运动生成蓝图,团队可以采用远程操作和人体动作捕捉技术来创建基础训练样本,并借助算法生成大量变体以进行深度训练。

Cosoms能与Omniverse两者结合使用,能够提供一个物理真实的多元生成器。

演讲最后,黄仁勋复刻了去年GTC2024的经典场面,与14台人形机器人同台亮相,它们为:Apptronik(Apollo)、星动纪元(Star1)、智元机器人(A2)、NEURA Robotics(4NE-1)、傅利叶智能(GR-2)、波士顿动力(Atlas)、Agility Robotics(Digit)、Figure AI(Figire 02)、1X(Neo)、银河通用(G1)、Mentee Robotics(MnteeBot)、宇树科技(H1)、小鹏(Iron)、Sanctuary AI(Phoenix)

值得注意的是,本次演讲中黄仁勋没有提到入局人形机器人本体计划,并不断重申公司以“卖铲人”定位。

近期,已有不少媒体透露英伟达要入局人形机器人本体制造。

据台湾联合新闻网2024年12月3日报道,英伟达已接触多家台湾机床和关键零部件制造商,目标包括征求关键零组件的技术与规格,并探索合作企业加入其人形机器人供应链的可能性。甚至有消息称,英伟达正考虑在台湾设立组装基地。业内预计到明年,这一计划将逐渐明朗,并启动相关产品认证流程;未来,英伟达不仅计划打造高性能人形机器人,还将目标延伸至专业型机器人领域。

2025年1月3日,电子业巨头鸿海集团董事长刘扬伟在接受媒体采访时表示,鸿海正与英伟达合作,采用后者的软件技术和硬件平台,在中国台湾南部的高雄市研发专注于服务场景的人形机器人

现阶段,全球大厂入局具身智能赛道典型代表:[英伟达]和[特斯拉];[特斯拉]被称为人形机器人赛道引领者,旗下人形机器人Optimus更是行业标杆;[英伟达]从芯片和中间件层面入局,核心目的是打造底层开发生态,成为具身智能领域当之无愧最强“卖铲人”。

2024年11月20日,资深游戏玩家、世界首富马斯克边玩游戏边接受采访,涉及AGI、人形机器人Optimus、猫女机器人、自动驾驶等;

谈到Optimus,马斯克表示:人形机器人Optimus将真正开启下一阶段的技术突破,各种皮肤随便换(“You'll be able to skin Optimus in a white, you know, pretty much anything”)等等。

11月22日,马斯克在 X 平台介绍了Optimus机器人和Robotaxi/Cybercab智驾出租车的定价愿景。

有关特斯拉Optimus最新进展,查看以往文章:马斯克:相较于软件算法,本体结构设计才是人形机器人规模量产关键!!

黄仁勋和马斯克都是人形机器人赛道拥护者且私交甚好,两者皆在多个重大场合,表达了对人形机器人未来美好畅想;前者曾表示:“机器人时代已经带来,人工智能的下一波浪潮是机器人技术,其中最令人兴奋的发展之一是人形机器人。”后者曾表示:“人形机器人是当下最大的机遇,并预测未来机器人的数量将远超人类,达到2:1至3:1的比例,将有100亿个人形机器人,甚至是200亿到300亿个,成为人类生活中不可或缺的伙伴与助手。”

2024年11月23日,黄仁勋在香港科技大学被授予工程学荣誉博士学位,并与香港科技大学校董会主席沈向洋展开深刻对话,提到机器人时,黄仁勋表示:有三种机器人有望实现大规模生产,而且几乎仅限于这三种;这三种机器人分别是:汽车,因为我们在过去150到200年间构建了一个适应汽车的世界;其次是无人机,因为天空几乎没有限制;当然,产量最大的将是人形机器人,因为我们为自己构建了一个世界;历史上出现过的其他类型的机器人都很难实现大规模量产。

现阶段,[华为]是国内入局具身智能赛道佼佼者,并有意沿袭[英伟达]路线;[小鹏汽车]、[小米]作为车企,切入人形机器人本体制造,沿袭[特斯拉]路线。

近期华为持续加码具身智能领域。

2024年11月15日,华为(深圳)全球具身智能产业创新中心宣布正式运营,聚合华为2012先进制造实验室、2012伦敦研究所等各部门具身智能相关能力,聚合华为具身智能产业核心资源,建设具身智能基础实验室;现场并与乐聚机器人、兆威机电、深圳市大族机器人、墨影科技、拓斯达、自变量机器人、禾川人形机器人等16家企业签约合作备忘录。

有关首批16家合作企业详细介绍,查看往期文章:华为入局具身智能,首批16家合作机器人企业梳理

12月3日,华为于2023年6月成立的机器人相关全资子公司【东莞极目机器有限公司】发生工商变更,注册资本由8.7亿元增至38.9亿元,增资30.2亿,华为仍旧全资参股

有关具体缘由,小编不做解读,说对、说错都容易被官方投诉。

有关华为入局具身智能赛道,可查看往期文章:浅谈,华为切入具身智能赛道

有关小米、小鹏入局人形机器人赛道详细介绍,查看往期文章:核心创始团队离开,「小米」、「小鹏」能否扛起国内人形机器人大旗

具身智能领域研究方向可粗略分为:具身智能大模型(机器人“大脑”)和人形机器人(本体+小脑)。

具身智能领域初创公司主要分三种:专注于具身智能大模型、人形机器人整机和两者同时涉及;全球范围内,专注于人形机器人本体初创公司最多,初步统计,人形机器人整机公司目前已超150家且持续增加中(其中国内最多,并远超第二名是美国);具身智能大模型因涉及芯片、软件、AI算法,资金投入远高于人形机器人本体,目前更多是科技大厂间博弈,初创公司数量远低于人形机器人本体初创公司。

全球人形机器人本体公司背景可大体分为:汽车制造企业(特斯拉、小鹏等)、机器人企业(优必选、宇树等)、科研院校孵化(银河通用)和互联网背景创业团队(星尘智能、1X等),目前科研院校教授“兼职”创业占据国内人形本体初创企业半壁江山,国外更多是互联网背景创业团队。

全球具身智能大模型(机器人通用“大脑”)公司背景大体可分为:科技大厂(英伟达、OpenAI等)和科研院校背景创业团队(Physical Intelligence、Skild AI等);国外科技大厂早已布局具身智能大模型方向研究(如谷歌、英伟达等;谷歌已完成多次技术迭代,从Saycan到RT-H),目前处于领先地位;国内科技大厂目前也逐步切入具身智能赛道,推出相应具身智能大模型,但目前对具身智能大模型研发投入极其有限,更多以对外投资方式入局。

小编往期文章:2025年,头部人形机器人公司将实现初步商业化!有提到一个观点:若众多科技巨头入局人形机器人本体领域,对于初创公司绝对是毁灭性冲击。

如今,这种迹象已在国外顶尖科技大厂已开始入局人形机器人本体制造;相信国内科技大厂也会逐步跟进,比如说走在前列的华为。

接下来,小编将详细盘点具身智能大模型领域,全球初创公司(PI、Skild AI、Covariant、有鹿机器人、X Square等)介绍及产品进展、全球科技巨头/大厂(谷歌、英伟达、微软、OpenAI、特斯拉、华为、阿里、腾讯等)现阶段产品进展、人形机机器人本体厂家与科技巨头/大厂合作现状以及科技巨头入局人形机器人本体赛道现状:

NVIDIA:芯片和中间件层面入局

NVIDIA 在机器人领域的核心目标是打造底层开发生态,主要围绕着大模型、数据、开发平台三大核心领域展开,其终极目标是借助芯片等核心产品,为打造机器人底层开发生态。

2018年,英伟达推出全新硬件、软件、虚拟世界机器人模拟器的NVIDIAIsaac,同时还推出专为机器人设计的计算机平台Jetson Xavier和相关的机器人软件工具包,正式布局智能机器人领域;

2019-2022年,英伟达从底层芯片、到计算平台、到训练与验证,开启智能机器人领域的全方位布局:

  • 2019年,推出lsaac软性开发套件(SDK),为机器人提供更新的AI感知和仿真功能;

  • 2021年,英伟达推出Omniverse平台,支持机器人的协作和模拟,对协作机器人影响深远;

  • 2022年,英伟达推出IsaacNova Orin,其配置的计算和传感器参考平台旨在帮助AMR(自主移动机器人)制造商缩短开发时间并降低成本;

  • 2022年10月,英伟达发布基于Transformer架构的支持多模形态的(仿真)智能体VIMA;

  • 2022年11月22日,英伟达发布具有互联网规模知识的开放式具身智能体-MinDojo;

2023年5月,英伟达发布全新JetsonAGXOrin 工业级模块;

2023年5月25日,英伟达发布VOYAGER智能体,这是第一个由LLM驱动的可以终身学习的智能体,为具身控制生成可执行代码;

2023年10月,英伟达对Jetson平台上的Metropolis和Isaac框架进行有史以来规模最大的软件扩展,用以来满足边缘AI的快速部署需求;与此同时,英伟达还宣布创建Jetson生成式AI实验室;另外宣布推出IsaacROS和IsaacSim软件的全新版本;

2023年10月20日,英伟达发布了EurekaEvolution-driven Universal Reward Kit for Agent智能机器人训练工具,本质是一种由大模型驱动的算法生成工具;

2024年2月,英伟达成立通用具身智能体研究GEAR(Generalist EmbodiedAgent Research)团队,目标是在虚拟和现实世界中建立具身智能体基础模型,致力于实现跨多模态、多场景的智能应用;

2024年3月19日,GTC2024大会上,英伟达发布了人形机器人通用基础模型Project GR00T、基于Thor SoC的新型人形机器人计算机Jetson Tho;对Isaac机器人平台进行了重大升级,包括生成式AI基础模型和仿真工具、AI工作流基础设施,新功能将在下个季度推出;

图片来源:英伟达官网

2024年7月29日,在丹佛SiGGRAPH2024大会上,英伟达携带自家生成式AI时代的新王牌-升级版“Nvidia NIM”(Nvidia Inference Microservices)云原生微服务亮相;Nvidia布局的NIM生态系统已经可提供一系列预训练的AI模型。英伟达宣布,帮助开发者在多个领域加速应用开发和部署,并且重点在不同的领域(如理解、数字人、三维开发、机器人技术和数字生物学)中提供的具体AI模型:

Nvidia NIM(Nvidia Inference Model)提供的服务及其具体模型

本内容仅仅是概括,各节点详细介绍,加入“机器人头条”知识星球,查看完整版文章。

谷歌:从Saycan到RT-H,软件领军者,步步为营,模型高速迭代

... ... ...

本文仅展示极少部分,接下来,小编将详细盘点具身智能大模型领域,全球初创公司(PI、Skild AI、Covariant、有鹿机器人、X Square等)介绍及产品进展、全球科技巨头/大厂(谷歌、英伟达、微软、OpenAI、华为、阿里、腾讯、字节等)现阶段产品进展、人形机机器人本体厂家与科技巨头/大厂合作现状以及科技巨头入局人形机器人本体赛道现状。

... ... ...

本文内容仅展示一部分,更多详细解读,扫码加入星球,查看完整版文章[原创]具身智能大模型赛道:科技巨头技术进展、初创公司盘点,第一款“机器人通用大脑”花落谁家(文字5W+)并深度了解“具身智能&人形机器人”赛道

注:深度了解“具身智能&人形机器人”赛道,加入知识星球“机器人头条”交流学习

——

近期精选文章:

1、黄仁勋:人形机器人在内,仅有三种机器人有望实现大规模生产!马斯克:YES!!

2、多家顶尖科技大厂,进军人形机器人整机制造!

3、人形机器人创企九死一生:商业化卡点梳理

4、自动驾驶行业精英,正疯狂涌入具身智能赛道!

5马斯克:相较于软件算法,本体结构设计才是人形机器人规模量产关键!!

6、投具身智能大模型还是人形机器人本体,资本面临两难抉择

7、2025年,全球头部人形机器人公司将实现初步商业化!

8、多家顶尖科技大厂,进军人形机器人整机制造!

9、ToB、ToC or ToG,全球人形机器人产品优选落地场景梳理!

10、知名人形机器人公司创始人离职!千台量产能否如约完成?

11、人形机器人构型之争:五指灵巧手 or 夹爪,双足 or 轮式

12、浅谈,华为入局人形机器人赛道

13、北京、上海,争当人形机器人商业化“第一城”!

猎场备忘录
Robot/Ads/Cloud/AI+行业资讯/求职/面试/备忘录/随笔…♬
 最新文章