首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

蔚来智驾的大模型之路：自研芯片 + 世界模型 + 群体智能

汽车 2024-07-29 12:59 北京

作者 | 德新

编辑 | 王博

解密蔚来版端到端

本文是HiEV出品的#解密端到端自动驾驶技术解读系列的第七篇。

推荐阅读：

奔赴端到端时代：智驾如果还走原来的路，就到不了ChatGPT时刻

自动驾驶革命：解密端到端背后的数据、算力和AI奇迹

何小鹏：未来一年半智驾迎30倍提升，大模型时代难有Tier 1

更多关于端到端内容，欢迎添加微信号Yuting199701加入「端到端智驾」交流群。

7月27日上周末，蔚来举办第二届NIO IN。

李斌说，2023年的第一届NIO IN像是一个大纲，第一次对外完整展示了蔚来布局的12大技术领域。

而这届，更像第一个交付的章节。它重点展示了5项阶段性的进展：

自研智驾芯片神玑NX9031流片成功；
整车操作系统天枢SkyOS全量上线
Banyan3.0今年将上线，推出多个NOMI智能体；
智驾世界模型NWM，将在四季度开始推进量产工作；
二代NIO Phone发布。

在蔚来第二、第三品牌车型上市前，蔚来多年投入的自研，终于开始逐渐显现出一些成果。

其中，在智能驾驶领域，从模块化的智驾方案，向端到端大模型的切换成为今年最重要的技术风潮。未来一周内，小鹏、理想等都将公布各自在端到端智驾上的进展，蔚来率先出牌。

蔚来CEO李斌、蔚来智能驾驶研发副总裁任少卿，向我们完整阐述了蔚来在智驾上做端到端的思考。

总地来说，自研芯片加上世界模型，再加上群体智能，是蔚来智驾大模型的核心框架。

蔚来自研大算力智驾芯片

神玑NX9031

开场不久，李斌就从兜里掏出已经流片回的神玑NX9031，现场掌声不断。

蔚来称，这是「全球首颗车规5nm高性能智驾芯片」。

实际上，神玑NX9031几个月前已经流片回来，团队测试下来，「效果比预期的还要好」。

蔚来此前曾经提到神玑NX9031的定位是「一颗顶4颗（OrinX）」。这次，他们公布了更多9031的参数特征：

32核CPU，采用big.LITTLE大小核架构，CPU算力达到615K DMIPS；
NPU加速单元，Transformer类算法性能提升6.5倍，LiDAR类算法性能提升4倍，BEV类算法性能提升4.3倍；
ISP最高可达6.5G Pixel每秒的图像处理能力；
算力共享、车云结合。

现场，蔚来还「小试牛刀」，展示了一下神玑上自研ISP在恶劣光线条件下的处理能力。

9031上ISP的高处理位宽配合降噪算法，能提供很高的动态处理范围，从而使暗光下图像细节更丰富，更容易看清几百米外的标识、细小物体。

现场实拍的神玑NX9031和行业旗舰智驾芯片的图像处理对比，基于8百万像素摄像头

蔚来提到的「一颗顶四颗」，是指从AI算力和ISP等主要指标上，至少有4倍以上的性能提升。

目前已经官宣的第一款搭载神玑NX9031的车型将是ET9，ET9将在明年交付。

不过，李斌也提到，「（芯片）它的作用，要明年的一季度才可以发挥出来。即使芯片上车了，依托于新的架构体验要落地也是需要时间，期望值要管理好。」

这可能也意味着，在NT3这代平台上，蔚来自研的神玑和第三方的计算芯片可能要并行一段时间，实现平滑过渡。

NWM世界模型，

让智驾系统学会想象

神玑NX9031是蔚来内部的芯片团队与智驾团队花费了几年时间联合定义的。它很重要的一项特性，就是为世界模型原生打造。

世界模型是蔚来智驾研发的下一个主要方向。

蔚来认为，一个足够聪明的智能体，应当具备想象重建（空间理解）和想象推演（时间理解）的能力，而端到端的模型，不必然具备这两个核心能力。

因此智驾有端到端的模型还不够，核心是搭建世界模型。

蔚来世界模型（NIO World Model，简称NWM），去年已经开始规划，但当时的NIO IN还不太成熟。

目前，NWM具有生成2分钟长度视频的能力，这已经超过了目前业界大部分AIGC视频生成软件。

2分钟的视频长度，可以用来预测未来2分钟内将发生的驾驶场景；在轨迹规划方面，MWM目前每0.1秒能生成216种可能的轨迹，而每0.1秒后再根据环境动态重新生成216种轨迹，让系统选出最佳的驾驶策略。

李斌说，NWM这几个月的进展非常快，是「跃迁式的，几个月前还只能生成几十秒」。2分钟意味着即使开得很慢（30公里/小时），也可以覆盖到未来1公里将发生的各种驾驶情况。

NWM是一种多元自回归生成模型。少卿总结，NWM和常见的端到端模型的差别包括：

空间理解能力，NWM通过生成模型重构传感器输入泛化信息，而端到端模型学习任务单一、抽取信息有损失；
时间理解能力，NWM自回归模型自动建模长时序环境，后者则没有长时序建模能力；
数据要求，NWM使用无标注的数据进行自监督学习，后者依赖轨迹信号信息密度低、感知标注辅助训练，成本高而效率低。

但训练一个理想的世界模型，挑战也很大：需要千万级Clips以上的真实数据训练、数据要丰富，想象重建的时间轴要连贯，其他还有大量的工程工作。

蔚来接下来的工作，是将NWM实现车端的部署。少卿透露，今年Q4会有机会「给大家一些体验」。

与NWM配套，蔚来开发了仿真器NSim（NIO Simulation）。在整个数据链路上，车端的群体智能 + NSim理论上可以给NWM提供源源不断的数据。

群体智能，

智驾系统独特的验证路径

将智驾系统完全模型化，面临两个挑战：

第一，世界模型需要千万级Clips的真实数据，从哪里获得这些真实数据；
第二，过去智驾系统的bug，可能只需要定位问题，验证1%的模块，而现在随着模型的迭代，测试验证的工作量暴增。

过去蔚来「豪横」使用四颗OrinX的做法在业界颇有一些争议。在大模型的时代，群体智能的设计，似乎开始发挥出更明显的价值。

以数据收集为例，如果没有量产车队，一般的智驾公司持有的测试车辆最多在几百台级别，而几百台真值采集车光持有成本就达到几亿元。蔚来通过量产车队收集数据，目前NT2平台的车型总数在20多万台。

而群体智能，多用一块OrinX的设计，使车辆不光在智驾状态下，在非智驾状态下也能获取到有效数据。

蔚来在Banyan 2.6.5版本中上线的端到端AEB，其从20亿公里的数据中获取到了1万个碰撞事故事件。实际上，在NIO IN上公布的蔚来用户智驾领航的总里程还只有11亿公里（尽管已经是目前各家中总里程最高的）。

AEB能力提升的核心挑战是在大幅提升AEB场景覆盖率的基础上，不增加AEB的误触发，验证覆盖是开发中的难点。端到端AEB的验证也使用了群体智能，4亿公里分为10轮的里程验证。

少卿说，「群体智能和生成式模型是杀手锏，可以满足上游训练数据的需求。」

而在测试验证上，群体智能使得新的模型版本，可以对比人类驾驶的状态，也可以对比过去的稳态版本，形成反馈闭环。蔚来智驾团队告诉我们，「群体智能的验证非常接近于实车验证，大幅好于仿真验证」。

在过去的4年里，智能系统的架构每年都在发生翻天覆地的变化。

无论对电子电气架构、软件架构还是芯片设计，高度动态的技术变化始终是巨大挑战。

蔚来用长期的投入淌出了一条独特的路径。

http://mp.weixin.qq.com/s?__biz=MzkwNjMzNzcxNQ==&mid=2247495876&idx=1&sn=e205abfa5aaf749027fb46e908bc635f

HiEV大蒜粒车研所

让一部分人更懂智能汽车。

最新文章

2024收官之战：车展向下，智驾向上

端到端大模型席卷广州车展，智驾行业的一次技术大跃迁

华为的纯视觉版，ADS SE卖得怎么样？| HiEV数读

理想「端到端+VLM」全量推送，把智驾又卷上了新高度

HiEV独家 | 比亚迪智驾变阵：整合自研，冲刺量产，目标让10万级也搭NOA

四维图新还有机会吗？

中美无人驾驶竞速赛，萝卜快跑特斯拉谁更快？

自研芯片三国杀，头部智驾新战场，蔚小理谁强？

迈向千T算力时代，最强智驾芯片Thor量产前夜

数亿元C轮融资到手，易航智能冲入高阶智驾决赛圈

乐道L60、MONA M03、理想L6，蔚小理围剿「特斯拉」

蔚来如何算加电网络「大账」？

极越造车2.0：01销量回暖，07杀出血路，ASD抢跑FSD

背靠大众，「半价Model 3」卖爆，小鹏走出低谷

Pro序列第二款车上市，上汽大众的智能化之路

在大湾区，看到通信、感知与显示技术的未来

SuperDrive首试：比肩第一梯队，地平线「饱和式投入」打造高阶方案交卷

用华为智驾，开启MPV的下半场

从向海外学习，到技术出海，中国零部件公司需要几步？

魏牌蓝山智驾版，长城的智能化「大反攻」

史上最强座舱AI芯登场，座舱「百模大战」爆发前夜

腾势Z9GT预售爆单，比亚迪易三方为什么敢称「全球唯一的整车智控平台」？

国内智能车零部件头号玩家引望：年出货300万套，估值1150亿

「看不见摸不着」的NVH，理想的秘密武器

智能底盘大热，解析华为途灵底盘，问界这回可以硬气了吗？

端到端时代，理想智驾如何换道超车？

享界S9 + 问界M9，华为智选车的高端局

Robotaxi火了，中国智驾公司冲击全球无人车第一股

卡车也迎专属NOA，MAXIEYE成立商用车子品牌阡途

蔚来智驾的大模型之路：自研芯片 + 世界模型 + 群体智能

奔赴端到端时代：智驾如果还走原来的路，就到不了ChatGPT时刻

小米汽车One More Thing登场：SU7 Ultra 零百加速不到2秒，十年成为纽北最速的仔

座舱之王高通，抢占中阶智驾市场

半价理想，零跑将6座SUV车市杀成血海

EE架构大跃进：特斯拉、小鹏引领舱驾融合，从域控融合走向单SoC

魏建军亲测智驾第二季：长城全场景NOA挑战重庆

领克杀入纯电赛道：年轻人想要一台什么样的大电轿？

稳了？L3规模化落地在即，激光雷达公司成首批赢家

MONA来了！小鹏子品牌首车定名M03，20万内空间智能颜值都要能打

中国版Wayve决战端到端，等待数据的大力出奇迹

百公里2.9L油背后的超级技术：比亚迪第五代DM，最强插混绞杀合资家轿

何小鹏：未来一年半智驾迎30倍提升，大模型时代难有Tier 1

跨域计算芯片，一把被忽视的汽车降本尖刀

乐道的家庭市场，蔚来的荣誉之战

单季出货超12万台，激光雷达开始挣钱养家

内卷、降价、出海，博世财报中的中国车市

吴新宙带队的英伟达智驾：先追平第一梯队，2026年量产L3

问界新M5交付，「975」组合站稳中国豪华智电定位

车载GPT爆红前夜：一场巨头竞逐的游戏

极氪速度：70亿市值登陆纽交所，这家纯电豪华品牌开启弹射模式

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉