温馨提示:点击下方图片,查看公众号“Robot猎场备忘录”运营团队(12月整理)原创报告(共195页)
正文:
2025年1月7日,全球科技盛会CES2025(国际消费电子展)正式开幕,芯片巨头、AI时代“卖铲人”和最大受益者【英伟达】创始人兼CEO英伟达CEO黄仁勋进行开幕主题演讲,涉及到的话题包括 GPU、AI、游戏、机器人、自动驾驶、芯片等诸多热点话题。
演讲中,黄仁勋表示:通用机器人的ChatGPT时刻即将到来;并表示:智能体AI之后,AI的下一个前沿就是物理AI;并提出将继续与全球多家知名的机器人解决方案提供商、操作系统企业、AI视觉技术公司、机器人传感器制造商以及本体制造企业等携手合作,共同打造机器人生态系统。
小编着重介绍本次英伟达人形机器人相关产品:世界基础模型开发平台Cosmos和合成运动生成的Omnvierse Blueprint
Cosmos:开源、可商用的生成式世界基础模型开发平台(WFM),它基于2000万小时数据集完成训练,能够将文本、图像、视频作为输入,可以生成虚拟世界状态、视频;该平台包含多个功能模块,比如扩散模型、自回归模型、视频分词器,开发者还可以通过微调Cosmos wfm来构建定制模型;该平台专门为机器人和自动驾驶的开发而设计,有三款Nano(约15B)、Super(34B)、Ultra(约70B)目前1X、Agility Robotics等机器人公司和XPENG、Uber和Waabi等自动驾驶公司都已经与Cosmos合作开发模型。
Cosmos 模型已经公开发布,下面是相关地址:
英伟达 API 目录:https://build.nvidia.com/explore/simulation
Hugging Face:https://huggingface.co/collections/nvidia/cosmos-6751e884dc10e013a0a0d8e6
合成运动生成的NVIDIA Isaac GR00T Blueprint可帮助开发者通过少量的人类演示,生成大量合成数据,以使用模仿学习来训练他们的人形机器人;通过实施Isaac GR00T合成运动生成蓝图,团队可以采用远程操作和人体动作捕捉技术来创建基础训练样本,并借助算法生成大量变体以进行深度训练。
Cosoms能与Omniverse两者结合使用,能够提供一个物理真实的多元生成器。
演讲最后,黄仁勋复刻了去年GTC2024的经典场面,与14台人形机器人同台亮相,它们为:Apptronik(Apollo)、星动纪元(Star1)、智元机器人(A2)、NEURA Robotics(4NE-1)、傅利叶智能(GR-2)、波士顿动力(Atlas)、Agility Robotics(Digit)、Figure AI(Figire 02)、1X(Neo)、银河通用(G1)、Mentee Robotics(MnteeBot)、宇树科技(H1)、小鹏(Iron)、Sanctuary AI(Phoenix)。
值得注意的是,本次演讲中黄仁勋没有提到入局人形机器人本体计划,并不断重申公司以“卖铲人”定位。
近期,已有不少媒体透露英伟达要入局人形机器人本体制造。
据台湾联合新闻网2024年12月3日报道,英伟达已接触多家台湾机床和关键零部件制造商,目标包括征求关键零组件的技术与规格,并探索合作企业加入其人形机器人供应链的可能性。甚至有消息称,英伟达正考虑在台湾设立组装基地。业内预计到明年,这一计划将逐渐明朗,并启动相关产品认证流程;未来,英伟达不仅计划打造高性能人形机器人,还将目标延伸至专业型机器人领域。
2025年1月3日,电子业巨头鸿海集团董事长刘扬伟在接受媒体采访时表示,鸿海正与英伟达合作,采用后者的软件技术和硬件平台,在中国台湾南部的高雄市研发专注于服务场景的人形机器人。
现阶段,全球大厂入局具身智能赛道典型代表:[英伟达]和[特斯拉];[特斯拉]被称为人形机器人赛道引领者,旗下人形机器人Optimus更是行业标杆;[英伟达]从芯片和中间件层面入局,核心目的是打造底层开发生态,成为具身智能领域当之无愧最强“卖铲人”。
2024年11月20日,资深游戏玩家、世界首富马斯克边玩游戏边接受采访,涉及AGI、人形机器人Optimus、猫女机器人、自动驾驶等;
谈到Optimus,马斯克表示:人形机器人Optimus将真正开启下一阶段的技术突破,各种皮肤随便换(“You'll be able to skin Optimus in a white, you know, pretty much anything”)等等。
11月22日,马斯克在 X 平台介绍了Optimus机器人和Robotaxi/Cybercab智驾出租车的定价愿景。
有关特斯拉Optimus最新进展,查看以往文章:马斯克:相较于软件算法,本体结构设计才是人形机器人规模量产关键!!
黄仁勋和马斯克都是人形机器人赛道拥护者且私交甚好,两者皆在多个重大场合,表达了对人形机器人未来美好畅想;前者曾表示:“机器人时代已经带来,人工智能的下一波浪潮是机器人技术,其中最令人兴奋的发展之一是人形机器人。”后者曾表示:“人形机器人是当下最大的机遇,并预测未来机器人的数量将远超人类,达到2:1至3:1的比例,将有100亿个人形机器人,甚至是200亿到300亿个,成为人类生活中不可或缺的伙伴与助手。”
2024年11月23日,黄仁勋在香港科技大学被授予工程学荣誉博士学位,并与香港科技大学校董会主席沈向洋展开深刻对话,提到机器人时,黄仁勋表示:有三种机器人有望实现大规模生产,而且几乎仅限于这三种;这三种机器人分别是:汽车,因为我们在过去150到200年间构建了一个适应汽车的世界;其次是无人机,因为天空几乎没有限制;当然,产量最大的将是人形机器人,因为我们为自己构建了一个世界;历史上出现过的其他类型的机器人都很难实现大规模量产。
现阶段,[华为]是国内入局具身智能赛道佼佼者,并有意沿袭[英伟达]路线;[小鹏汽车]、[小米]作为车企,切入人形机器人本体制造,沿袭[特斯拉]路线。
近期华为持续加码具身智能领域。
2024年11月15日,华为(深圳)全球具身智能产业创新中心宣布正式运营,聚合华为2012先进制造实验室、2012伦敦研究所等各部门具身智能相关能力,聚合华为具身智能产业核心资源,建设具身智能基础实验室;现场并与乐聚机器人、兆威机电、深圳市大族机器人、墨影科技、拓斯达、自变量机器人、禾川人形机器人等16家企业签约合作备忘录。
有关首批16家合作企业详细介绍,查看往期文章:华为入局具身智能,首批16家合作机器人企业梳理
12月3日,华为于2023年6月成立的机器人相关全资子公司【东莞极目机器有限公司】发生工商变更,注册资本由8.7亿元增至38.9亿元,增资30.2亿,华为仍旧全资参股。
有关具体缘由,小编不做解读,说对、说错都容易被官方投诉。
有关华为入局具身智能赛道,可查看往期文章:浅谈,华为切入具身智能赛道
有关小米、小鹏入局人形机器人赛道详细介绍,查看往期文章:核心创始团队离开,「小米」、「小鹏」能否扛起国内人形机器人大旗
具身智能领域研究方向可粗略分为:具身智能大模型(机器人“大脑”)和人形机器人(本体+小脑)。
具身智能领域初创公司主要分三种:专注于具身智能大模型、人形机器人整机和两者同时涉及;全球范围内,专注于人形机器人本体初创公司最多,初步统计,人形机器人整机公司目前已超150家且持续增加中(其中国内最多,并远超第二名是美国);具身智能大模型因涉及芯片、软件、AI算法,资金投入远高于人形机器人本体,目前更多是科技大厂间博弈,初创公司数量远低于人形机器人本体初创公司。
全球人形机器人本体公司背景可大体分为:汽车制造企业(特斯拉、小鹏等)、机器人企业(优必选、宇树等)、科研院校孵化(银河通用)和互联网背景创业团队(星尘智能、1X等),目前科研院校教授“兼职”创业占据国内人形本体初创企业半壁江山,国外更多是互联网背景创业团队。
全球具身智能大模型(机器人通用“大脑”)公司背景大体可分为:科技大厂(英伟达、OpenAI等)和科研院校背景创业团队(Physical Intelligence、Skild AI等);国外科技大厂早已布局具身智能大模型方向研究(如谷歌、英伟达等;谷歌已完成多次技术迭代,从Saycan到RT-H),目前处于领先地位;国内科技大厂目前也逐步切入具身智能赛道,推出相应具身智能大模型,但目前对具身智能大模型研发投入极其有限,更多以对外投资方式入局。
小编往期文章:2025年,头部人形机器人公司将实现初步商业化!有提到一个观点:若众多科技巨头入局人形机器人本体领域,对于初创公司绝对是毁灭性冲击。
如今,这种迹象已在国外顶尖科技大厂已开始入局人形机器人本体制造;相信国内科技大厂也会逐步跟进,比如说走在前列的华为。
接下来,小编将详细盘点具身智能大模型领域,全球初创公司(PI、Skild AI、Covariant、有鹿机器人、X Square等)介绍及产品进展、全球科技巨头/大厂(谷歌、英伟达、微软、OpenAI、特斯拉、华为、阿里、腾讯等)现阶段产品进展、人形机机器人本体厂家与科技巨头/大厂合作现状以及科技巨头入局人形机器人本体赛道现状:
NVIDIA:芯片和中间件层面入局
NVIDIA 在机器人领域的核心目标是打造底层开发生态,主要围绕着大模型、数据、开发平台三大核心领域展开,其终极目标是借助芯片等核心产品,为打造机器人底层开发生态。
2018年,英伟达推出全新硬件、软件、虚拟世界机器人模拟器的NVIDIAIsaac,同时还推出专为机器人设计的计算机平台Jetson Xavier和相关的机器人软件工具包,正式布局智能机器人领域;
2019-2022年,英伟达从底层芯片、到计算平台、到训练与验证,开启智能机器人领域的全方位布局:
2019年,推出lsaac软性开发套件(SDK),为机器人提供更新的AI感知和仿真功能;
2021年,英伟达推出Omniverse平台,支持机器人的协作和模拟,对协作机器人影响深远;
2022年,英伟达推出IsaacNova Orin,其配置的计算和传感器参考平台旨在帮助AMR(自主移动机器人)制造商缩短开发时间并降低成本;
2022年10月,英伟达发布基于Transformer架构的支持多模形态的(仿真)智能体VIMA;
2022年11月22日,英伟达发布具有互联网规模知识的开放式具身智能体-MinDojo;
2023年5月,英伟达发布全新JetsonAGXOrin 工业级模块;
2023年5月25日,英伟达发布VOYAGER智能体,这是第一个由LLM驱动的可以终身学习的智能体,为具身控制生成可执行代码;
2023年10月,英伟达对Jetson平台上的Metropolis和Isaac框架进行有史以来规模最大的软件扩展,用以来满足边缘AI的快速部署需求;与此同时,英伟达还宣布创建Jetson生成式AI实验室;另外宣布推出IsaacROS和IsaacSim软件的全新版本;
2023年10月20日,英伟达发布了Eureka(Evolution-driven Universal Reward Kit for Agent)智能机器人训练工具,本质是一种由大模型驱动的算法生成工具;
2024年2月,英伟达成立通用具身智能体研究GEAR(Generalist EmbodiedAgent Research)团队,目标是在虚拟和现实世界中建立具身智能体基础模型,致力于实现跨多模态、多场景的智能应用;
2024年3月19日,GTC2024大会上,英伟达发布了人形机器人通用基础模型Project GR00T、基于Thor SoC的新型人形机器人计算机Jetson Tho;对Isaac机器人平台进行了重大升级,包括生成式AI基础模型和仿真工具、AI工作流基础设施,新功能将在下个季度推出;
图片来源:英伟达官网
2024年7月29日,在丹佛SiGGRAPH2024大会上,英伟达携带自家生成式AI时代的新王牌-升级版“Nvidia NIM”(Nvidia Inference Microservices)云原生微服务亮相;Nvidia布局的NIM生态系统已经可提供一系列预训练的AI模型。英伟达宣布,帮助开发者在多个领域加速应用开发和部署,并且重点在不同的领域(如理解、数字人、三维开发、机器人技术和数字生物学)中提供的具体AI模型:
Nvidia NIM(Nvidia Inference Model)提供的服务及其具体模型
本内容仅仅是概括,各节点详细介绍,加入“机器人头条”知识星球,查看完整版文章。
谷歌:从Saycan到RT-H,软件领军者,步步为营,模型高速迭代
... ... ...
本文仅展示极少部分,接下来,小编将详细盘点具身智能大模型领域,全球初创公司(PI、Skild AI、Covariant、有鹿机器人、X Square等)介绍及产品进展、全球科技巨头/大厂(谷歌、英伟达、微软、OpenAI、华为、阿里、腾讯、字节等)现阶段产品进展、人形机机器人本体厂家与科技巨头/大厂合作现状以及科技巨头入局人形机器人本体赛道现状。
... ... ...
本文内容仅展示一部分,更多详细解读,扫码加入星球,查看完整版文章:[原创]具身智能大模型赛道:科技巨头技术进展、初创公司盘点,第一款“机器人通用大脑”花落谁家(文字5W+),并深度了解“具身智能&人形机器人”赛道
近期精选文章:
1、黄仁勋:人形机器人在内,仅有三种机器人有望实现大规模生产!马斯克:YES!!
5、马斯克:相较于软件算法,本体结构设计才是人形机器人规模量产关键!!
9、ToB、ToC or ToG,全球人形机器人产品优选落地场景梳理!
11、人形机器人构型之争:五指灵巧手 or 夹爪,双足 or 轮式