首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

破局端到端之战，商汤绝影的答案是世界模型

汽车 2024-11-29 18:57 江苏

‍

作者 | 张马也

编辑 | 德新

智驾行业第一个开放的世界模型

大模型正重新定义智能汽车的体验。

如果说上半年的北京车展上，还只是一部分头部车企围绕端到端与大模型领域率先展开探索，那到了前不久的广州车展，包括外资与合资车企在内，几乎所有厂商都在拥抱端到端与大模型的技术路线。

而大模型也本该是AI公司的主战场。

11月27日，具有深厚AI背景的汽车科技公司商汤绝影举办了2024「绝影实力AI DAY」。商汤绝影展示了「驾-舱-云」三位一体的通用人工智能（AGI）产品体系与战略布局，发布了一系列基于AI大模型的全新产品：

基于多模态大模型和独有类人记忆框架的座舱产品「A New Member For U」
三阶不同梯度的端到端智驾量产方案；
以及产品化的世界模型「开悟」。

多模态座舱大模型结合记忆框架，使汽车不仅是智能工具，更赋予其「有趣的灵魂」；

而绝影在智驾领域多年的探索，也形成了一系列工程化的量产方案；

尤为值得关注的是，这次发布的世界模型「开悟」。

目前，各大头部主机厂和Tier 1都在探索和研发世界模型，但还并没有特别成熟的产品问世。世界模型通过生成高质量仿真数据，推动端到端智能驾驶的发展。

「开悟」可以说是第一个产品化的，并且将向汽车行业开放的世界模型。

商汤绝影CEO、商汤科技联合创始人、首席科学家王晓刚表示，基于世界模型，绝影打造出了真实数据和仿真数据的「双轮驱动」闭环，构建了车云一体的新范式。

目前绝影的智驾方案，已量产交付广汽埃安、一汽红旗等3家车企6款车型。

发布会上，商汤绝影还正式宣布与大卓智能、东风汽车等合作伙伴签订战略合作协议，在高阶智驾量产、端到端量产、AI云服务、AI大模型等领域开展全方位的深度合作。

商汤绝影的AI大模型与端到端方案量产，正式拉开序幕。

让座舱拥有「有趣的灵魂」

在智能座舱领域，商汤绝影一直是量产的领跑者。

据第三方数据，绝影座舱视觉AI软件市场份额连续5年位列行业第一，市面上你能看到的绝大部分智能车大概率都搭载了商汤绝影的座舱技术，比如蔚来、乐道、极氪、智己、小米等等。

座舱大模型从单模态走向多模态也是必然趋势。而在这次发布会上，绝影抛出了一个有趣的产品化新思路：汽车是否可以拥有「灵魂」，并最终融入用户家庭，成为一位「新成员」。

以往的车机交互，主要是工具导向，为用户提供基础的信息查询和问题解答服务；但在智能化时代，它应该能学习、进化，提供更主动，更懂用户的服务。

沿着这种思路，商汤绝影打造了「A New Member For U」(你的家庭新成员)，让智能汽车能够察言观色，时刻准备着主动提供专属服务，就像车主身边的家庭新成员。

例如，在旅途中后排孩子睡着了，智能座舱会主动调高空调温度、降低音乐音量，同时把底盘和驾驶模式调整为舒适模式，给小朋友一个舒适安心的休憩环境。

更重要的是，整个过程不需要用户挨个下指令，而是它观察、思考和推理之后提供主动的服务。

王晓刚介绍，这位「家庭新成员」背后，商汤绝影研发了三大核心框架：

原生流式多模态大模型；
类人记忆框架；
Always-on持续运行框架；

原生流式多模态大模型能够综合理解文本、图像、音频、视频、3D等信息模态，包括人的表情、语气等，做到全场景的多模态感知。

商汤绝影还针对车载场景进行定制，融合车端感知数据、车端场景，进行针对性训练。

在全面感知的基础上，模型可以进行深度理解和推理思考，具备理解世界、理解人类的能力。

要让汽车拥有「灵魂」，就必须要有「记忆」，这是人类认知能力的基础。

王晓刚表示，有了「记忆」，车辆才能与你会产生默契，不断成长，直到与用户心有灵犀。类人记忆框架，也是商汤绝影这一座舱解决方案重要的差异化技术。

它与人类的记忆机制相似，拥有临时记忆、长期记忆和场景记忆，三者结合让系统实现类人的记忆能力。

临时记忆，能记得一些瞬时信息，比如车里的物品、人的搭配、有没有系安全带等。
长期记忆，就像是一个档案库，存储着用户的基本信息、行为模式和偏好等，并且能自我迭代，能从用户长期使用中总结规律并不断优化。
场景记忆可以从临时记忆和长期记忆中提取重要信息，对这些信息实时处理和分析，作出决策或者解决问题。

最后是持续运行框架，它能够将多模态感知到的信息与各种记忆相结合，进行高效的处理和反馈，做到时刻感知需求，主动为用户服务。

据介绍，「家庭新成员」的系统数据延迟控制在1毫秒以内，端侧也能快速响应，目前首包耗时最短仅需60毫秒，推理速度40 Tokens/秒。它的反应速度可能比人还要快。

这次「家庭新成员」产品的发布，不仅是商汤绝影AI大模型算法的一次集中展示，也展现了它对AI产品化的深度思考。

端到端智驾量产大潮

继无图城市NOA之后，端到端智驾已经成为智驾领域确定性的技术趋势，也是当前车企在智驾传播上的热点。

作为AI领域的龙头公司，商汤绝影也是当仁不让。

绝影AI Day全面展示其多阶的量产方案，包括基于地平线J6E/J6M、英伟达Orin/Thor等不同算力平台打造的基础智驾方案、全场景高阶智驾、端到端智驾等绝影量产智驾产品体系，并正式发布基于UniAD打造的绝影量产端到端智驾方案AD Ultra。

基于地平线J6E和J6M两个平台，商汤绝影已经打造了AD Pro和AD Max两个量产智驾方案，其中AD Max能够实现城区无图NOP。J6平台的智驾方案，预计明年2季度就会量产交付。

王晓刚介绍，绝影的UniAD纯视觉端到端方案，无图、无激光雷达，仅需1个毫米波雷达和11个摄像头，跑在200T算力平台上，就能够实现一段式端到端智驾，实现「类人」驾驶体验。

早在2022年，商汤及联合实验室提出行业首个感知决策一体化的自动驾驶通用模型UniAD，并荣获CVPR 2023最佳论文。

UniAD将感知、决策、规划等模块都整合到一个全栈Transformer端到端模型，实现感知决策一体化的端到端智能驾驶。2024年北京车展，商汤绝影也展出了这一方案的阶段性成果。

据HiEV了解，目前该方案已经在上海城区demo运行。

基于前述的高阶智驾方案，商汤绝影已经与大卓智能、东风汽车等达成战略合作，推进量产交付。

凭借在大模型技术上的积累，商汤绝影正在向智驾第一梯队发起冲击。但如果只是拿出又一个端到端方案，可能无法满足市场的期待。所以，面对端到端智驾长期持续的技术提升，商汤绝影还祭出了另一项绝招——世界模型。

汽车大模型之战，决战在云端

本次发布会上，商汤绝影亮相的最为重磅的产品，是「开悟」世界模型。

如果说，座舱和智驾因为用户感知最明显，很多车企希望将其掌握在自己手中，那世界模型，就是商汤绝影给车企发出的最无法拒绝的邀请。

端到端大模型方案，能够直接从原始传感器数据中学习驾驶策略，减少了对传统模块化系统的依赖。但这种方案对高质量数据的需求极高，而且数据需要随着模型的更新，不断训练迭代，其中的技术和成本要求都非常高。

受限于量产规模、算力资源，目前大多数车企和智驾公司都面临高质量驾驶数据的获取难度大、效率低、成本高的问题。

因此，王晓刚表示：「智驾高端局的竞争不止是车端模型的比拼，端到端的决战，战场在云端。」

商汤绝影的答案，是给行业提供「开悟」世界模型。

「开悟」可以在云端生成高质量、真实的视频数据，通过车企实车采集的数据，和仿真生成的数据，形成双轮驱动的数据闭环，从而让智驾产品不断迭代。

在其中，商汤绝影承担了大部分的算力设施和数据成本，车企也能在不需要大量新建算力基础设施，掌握自己车辆数据的基础上，更新智驾产品。

「开悟」世界模型能够理解真实世界的物理规则、交通规则，生成的视频数据也更加逼真。

现场展示的「开悟」生成视频案例中，晴朗天气下，汽车、路灯都是有影子的，右转车辆会主动让行优先级更高的直行车辆。

在图像真实的基础上，「开悟」生成的场景视频，时间最长为150秒、分辨率1080P、生成视角最多可以做到11V，是行业首个同时完成上述指标的智驾世界模型。

目前，「开悟」世界模型可以支持多样化的自动驾驶场景及Corner case的可控生成，可生成1024类场景，打造了千万级的生成场景库。

「开悟」预计将在2025年对行业开放。

目前商汤绝影智驾系统20%的数据由「开悟」生成，未来会达到80%。

「开悟」世界模型既符合商汤绝影一贯高举高打的风格，也能最大化利用商汤智算中心的算力设施。商汤大装置作为大模型基础设施，为「开悟」提供了坚实的算力基础。

目前商汤总算力规模高达20000petaFLOPS，拥有超5.4万块GPU。

算法、算力、数据，是过去十多年人工智能浪潮的基石，现在在AGI与智能驾驶的新浪潮中，商汤绝影再次以这三者为基础，构建了完整的产品体系。

王晓刚在发布会上对车企喊话：商汤绝影是迈向AGI之路的最佳同行者，「在智能汽车与云端平台之间流动的数据，将成为加速大模型上车的高效燃料」。

大模型上车的号角已经吹响，商汤绝影的邀请函已经发出，车企们收到了吗？

HiEV大蒜粒车研所

让一部分人更懂智能汽车。

最新文章

端到端智驾巅峰对决即将上演，黑芝麻A2000发布恰逢其时

领克Z20，为国人量身定制的纯电小钢炮

2025决战智驾：从中阶卷到L3，车企需要抓好一个数据闭环

无图城市NOA，打卡广东市井美食 | HiEV智驾游

2025智驾淘汰赛：高阶争夺技术话语权，中阶成销量生命线

尊界S800，以科技豪华杀入BBA最后的阵地

16.99万起的ID.与众，大众的第一款金标车

比亚迪的智驾平权大战：超20款车型配中阶智驾，搭载地平线征程6与Orin方案

蔚来NIO Day发布剧透：ET9和萤火虫，哪些值得期待？

增程2.0时代：小米、智界、小鹏入场，谁能领跑增程下半场

年度车皇，问界M9为什么卖得这么好？| HiEV数读

智驾端到端时代，奔驰的答案

车企上马端到端智驾，自研还是「华元魔」？

破局端到端之战，商汤绝影的答案是世界模型

智驾生死时速，毫末发五周年内部信：冲刺三大核心大客户交付

20万最卷轿车市场，智界新S7「出牌」了

2024收官之战：车展向下，智驾向上

端到端大模型席卷广州车展，智驾行业的一次技术大跃迁

华为的纯视觉版，ADS SE卖得怎么样？| HiEV数读

理想「端到端+VLM」全量推送，把智驾又卷上了新高度

HiEV独家 | 比亚迪智驾变阵：整合自研，冲刺量产，目标让10万级也搭NOA

四维图新还有机会吗？

中美无人驾驶竞速赛，萝卜快跑特斯拉谁更快？

自研芯片三国杀，头部智驾新战场，蔚小理谁强？

迈向千T算力时代，最强智驾芯片Thor量产前夜

数亿元C轮融资到手，易航智能冲入高阶智驾决赛圈

乐道L60、MONA M03、理想L6，蔚小理围剿「特斯拉」

蔚来如何算加电网络「大账」？

极越造车2.0：01销量回暖，07杀出血路，ASD抢跑FSD

背靠大众，「半价Model 3」卖爆，小鹏走出低谷

Pro序列第二款车上市，上汽大众的智能化之路

在大湾区，看到通信、感知与显示技术的未来

SuperDrive首试：比肩第一梯队，地平线「饱和式投入」打造高阶方案交卷

用华为智驾，开启MPV的下半场

从向海外学习，到技术出海，中国零部件公司需要几步？

魏牌蓝山智驾版，长城的智能化「大反攻」

史上最强座舱AI芯登场，座舱「百模大战」爆发前夜

腾势Z9GT预售爆单，比亚迪易三方为什么敢称「全球唯一的整车智控平台」？

国内智能车零部件头号玩家引望：年出货300万套，估值1150亿

「看不见摸不着」的NVH，理想的秘密武器

智能底盘大热，解析华为途灵底盘，问界这回可以硬气了吗？

端到端时代，理想智驾如何换道超车？

享界S9 + 问界M9，华为智选车的高端局

Robotaxi火了，中国智驾公司冲击全球无人车第一股

卡车也迎专属NOA，MAXIEYE成立商用车子品牌阡途

蔚来智驾的大模型之路：自研芯片 + 世界模型 + 群体智能

奔赴端到端时代：智驾如果还走原来的路，就到不了ChatGPT时刻

小米汽车One More Thing登场：SU7 Ultra 零百加速不到2秒，十年成为纽北最速的仔

座舱之王高通，抢占中阶智驾市场

半价理想，零跑将6座SUV车市杀成血海

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉