首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

端到端不是终点，大模型才是结局

汽车 2024-10-20 11:32 山东

中国头部智驾厂商小鹏汽车的掌门人何小鹏曾经发表过一个观点，端到端只能实现L3，端到端+大模型才能实现L4。这是严谨的技术研判，还是拍脑袋的一家之言？

偷换概念，固然有利于产品的宣传，却有可能把大家的认知搞得一团糟。端到端成了自动驾驶行业最火的营销热词,没有之一。

大模型破圈效应更大，GPT的逆天实力东一句、西一句地多次灌到普通消费者的耳朵里。

端到端大模型的概念被少数车企和智驾方案商宣传了好长一段时间，在从业者群里逐渐变得耳熟能详。

不过，当前的自动驾驶系统能力确定无疑地处于L2++阶段，既然端到端+大模型才能实现L4，“端到端大模型”这个概念便有偷梁换柱之嫌。

实际上，端到端和大模型确实是两个不同的概念。

谈概念，就要一竿子扎到底，回到技术的原点去看一看。

与端到端相对的是规则+算法的分模块方案。

与传统的分模块方案相比，端的端方案有两个最根本的不同点，一则是传统的分模块自动驾驶系统划分为感知-决策-执行三个模块，每个模块之间都有非常明显的界限。

二则是传统方案是规则加算法，端到端方案是全面AI化、模型化。

与生成式AI大模型相对的是基于判别式AI的小模型。

这两者的区别在于判别式AI属于判定模型，它的基本原理是从大量的训练数据集中学习并总结出决策边界，从而预测数据的标签。

比如说，在BEV的视角下，行人、二轮车、三轮车、乘用车、大卡车、锥桶……每一个事物的种类都分得明明白白。

生成式模型则是估计各种类型的数据分布，比较不同类型下生成数据的概率，它的侧重点在于生成新的数据。

比如，正慢慢变得火热并有望在2025年成为自动驾驶行业最火营销热词的世界模型，它的主要作用就是生成在不同的驾驶策略下的摄像头视角。

再进一步总结一下，端到端是系统结构形式从规则向AI的转换，大模型是AI从判别式AI向生成式AI的转变，很明显是两种不同的概念。

没有调查就没有发言权。

一家车企或智驾方案供应商要在传统端到端方案之外开辟第二战线，上马生成式AI大模型这种特别消耗人力、物力、金钱、时间的新技术，肯定经过了非常仔细缜密的调研。

传统端到端之所以要+大模型，必定是因为大模型能够解决现有方案无法解决的痛点。

毕竟，大部分公司都在亏钱，不至于像西红柿首富那么豪横，非要把钱花在刀把上。

在2023年的CVPR会议上，小鹏汽车自动驾驶高管分享过在广袤的中国大地上做自动驾驶需要克服的三方面挑战：层出不穷、无视交通规则的交通参与者，复杂难解、特别考验空间几何能力的道路拓扑，任性且魔性、神鬼莫辨的交通标识。

这三个方面的挑战或痛点，端到端方案来了也只能望洋生叹。

传统的端到端方案固然可以消除冗余，通过对计算资源的集约化使用增加车端神经网络的参数量。

但是，即便是参数翻倍，也解决不了上面三个挑战。

车端模型都是由云端模型压缩而来，参数量有着几十倍的差距，云端模型好使的话，萝卜快跑也不用配备云端驾驶员了。

因为，参数翻倍是无法实现从感知能力到认知能力的升维。

比如对于第一项挑战-人车混杂的城区交通场景中的动态物体，比识别物体种类更加重要的是，能否建立足够的通用认知能力，并通过对长时序信息和当前交通环境下复杂语义信息的捕捉理解交通参与者的意图。

至于包含各种颜色、图案、数字、文字信息且形状各异的交通标识，就更加让人抓狂了，没有大语言模型的通用理解能力，小模型注定在各种长尾面前无能为力。

所以，无论是对交通参与者的意图理解，还是对繁杂多变的交通标识的语义理解，都需要仰仗生成式AI大模型超强的理解能力，才有可能解决这些感知长尾和决策长尾。

鲁迅先生说，这世上本没有路，走的人多了，也就有了路。在端到端大模型这条路上，已经有了越来越多的选手。

蔚来、小鹏、理想们纷纷将生成式AI大模型搬进车端自动驾驶系统里。

龙生九子，各有不同，正如各家的端到端模型架构各有千秋一样，蔚小理在自动驾驶大模型上做出了各自的技术选择。

或许是因为有4颗Orin X芯片在手,算力比较从容，又或许特斯拉选择了世界模型这条路线，在自动驾驶大模型上，蔚来汽车的世界模型成了蔚小理三家方案中最为硬核的存在。

它的基本原理是根据车端传感器采集的当前视频数据、本车状态和对其它交通参与者意图的判断，推演左转、直行、右转后的场景，根据安全、舒适、效率最大化、社会影响最小化的策略，选择一条最佳的行驶轨迹。

小鹏的大语言模型体现在其端到端方案中的XBrain模块上面，对应去年在CVPR会议上痛陈的那几个挑战，它可以用于对动态物体的意图判断、对路牌文字、待转区交通标识的识别。

7月初，理想汽车召开智能驾驶发布会，宣布推送分段式端到端无图NOA，并发布了“本土首个”一体式端到端方案，并且“行业首创”端到端+视觉语言模型的双系统方案。

这里的视觉语言模型就是叠加了视觉模态的大语言模型。值得一提的是，在国内车圈，发布绝不等同于推送。

从理想汽车展示的视觉语言模型的能力来看，其作用和小鹏汽车的XBrain有异曲同工之妙。

在这三家的方案中，蔚来汽车含金量最高。世界模型涉及到对时空的理解和对物理规律的理解，本质上是三维空间智能，空间智能正是AI教母李飞飞的创业方向。

小鹏和理想汽车方案的本质依然是一维文本智能，和世界模型背后的空间智能不可同日而语。

李想6月份高调公布了理想汽车在智能驾驶上的目标-一年内实现L3，三年内实现L4。

做一下阅读理解，李想认为，端到端可以实现L3，端到端+视觉语言模型可以实现L4，和何小鹏的观点可谓不谋而合！

http://mp.weixin.qq.com/s?__biz=MzA4ODUzMTYyOA==&mid=2650819399&idx=1&sn=32a8f5f73594f31a3d5c3e0b02a6a114

燃擎APP旗下深度报道栏目，林燃同学的自留地，联系邮箱1518383550@qq.com

最新文章

新势力自研芯片，大概是条不归路

全新魏牌蓝山，就是新势力第一端到端

《台州宣言》的站得高、看得远、抓得准：领克并入极氪上演新势力超级合体！

魏派蓝山为长城汽车高阶智驾代言的底层逻辑

字母标奥迪，是臭棋，还是大招？

在华扩产，丰田阳谋

大模型没有标准答案，世界模型才是终极方案

堆电池太Low，卷能耗才硬

一直以为高阶智驾只是高端车的灯塔，走近才发现燃烧着平权的火把

卢薛组合破局立新，上汽通用闪电反攻

增程大行其道，蔚来被架在火上烤？

新势力三匹最快黑马，就是理想问界和零跑

车企做芯片，这笔账该怎么算？

东风日产启辰：转型之后长出翅膀，狂卷价值飞得昂扬

点评吉利10月销量：均衡是主旋律，爆款已成习惯

十年饮冰，难凉热血，贾跃亭和他的FX真的来了

豪华平权看中国星，油车排面得东方曜

比亚迪智驾野心：不是高阶智驾逐渐下放，而是真正智驾平权

吉利终究还是向小型车市场下手了

吉利银河E5上市85天再度刷新销量纪录，530km版占比近一半，究竟有什么魔力？

都在夸端到端，到底有哪些缺点？

限时一口价9.98万起的逍客荣誉版：速度快，打得准，下手狠

端到端不是终点，大模型才是结局

比亚迪与丰田必有一战，日本市场就是腹心之战

郑梦九的牙山狮吼，李书福的台州宣言

造车两茫茫，轻图摆中央，谁不希望荷包鼓囊囊？

油车时代的三大件是长津湖，智驾时代的芯片就是上甘岭

极氪的后劲：打得快，上得去，铺得开

798的秦先卷带动后卷，659的MG5后浪拍翻前浪！

长城紫荆M100：魏建军奋力掷出的矛，扎透列强们挖空心思的盾

乐道Baas方案一旦普及，蔚来换电将彻底跑通，这可是比软件收费更猛的商业模式

把伊犁的草原湖泊都装心里，驭见212，越最真诚的野，做最自由的人

小鹏汽车：学习比亚迪，挑战比亚迪

端到端的内部矛盾，是一体化更犀利，还是分段式更锋芒？

给造车上强度，新势力卷造芯片

那些年，被魏建军怼过的合资车！

单纯看智驾，摄像头能不能消灭激光雷达？

大厂吃上大模型的热乎饭，用户是得给智能座舱点个赞

上市首月销量破万，吉利银河E5是如何俘获年轻家庭用户芳心的？

特斯拉想要干翻新势力，就得祭出核武器FSD

视觉方案是辟邪剑谱，激光雷达是葵花宝典

再见，成都车展！

百度智驾的落寞：一大早长起来的笋，没有钻破正午后才卷的壳

凯迪拉克如果真得撤，那谁陪你我夜笙歌？

六耳猕猴后是真大圣还是假大圣，真无图和轻地图到底谁更有前途？

就是因为All in 华为，活该赛力斯杀出黎明

中国车市不能没有上汽通用！

大六座SUV哪家强，蓝山是端到端的大魔王！

理想能不能杀进自动驾驶前三？

想当网红的夏一平，能不能让极越脱困

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉