贾浩楠 发自 副驾寺
智能车参考 | 公众号 AI4Auto
商汤绝影，正在展现“CVPR最佳论文”之外的实力。
首先是在超越车端算法的AI大模型实力：自动驾驶的云端世界模型，和智能座舱的流式多模态大模型。
作为智能汽车供应商，还完成了350万辆+的产品上车搭载里程碑。
更重要到，商汤绝影作为技术绝对领先的端到端“T0”级别玩家，现出对主机厂的合作吸引力和落地加速度。
商汤绝影CTO肖枫直接说：
“地大华魔”的头部格局，已经是过去式了。
绝影新进展：云端世界模型和车端多模态大脑
商汤绝影刚刚办了自己的第一个AI DAY，其实说成是一场“交卷答辩”更为合适。
交的卷可以分成技术和落地两方面。
首先是量产智驾方面，绝影首次公开了自己的世界模型——开悟。
简单的理解就是一个自动驾驶专用版的Sora大模型，用来解决端到端研发体系中的仿真问题。
开悟世界模型可以理解真实世界中的物理法则和交通规则，在这个基础上准确的生成场景（这是与sora的最大不同）。
具体来说，生成的视频基于11个摄像头， 11V保持时空一致的时间间隔，最长可以达到 150 秒，分辨率能够达到1080P。
同时开悟生成的场景也是可控的，能够细微的做到元素级别。
晴天下周边环境的投影、夜间车辆远近近光的投射，都是符合物理法则的真实呈现。
这种感觉有点像游戏工业著名的虚幻引擎，但开悟世界模型的的不同之处在于，它通过海量数据的学习物理法则，而且同时还学会了交通规则，比如车辆刹车的时候视屏中车辆会适当的保持车距并合理启停。
而与行业内其他先发的世界模型相比，开悟的优势在于多视角和清晰度。
目前业内最好的水平现在是6V视角，而开悟通过行人车辆3D框和时空轨迹作为精准的输入，控制信号来生成 11V 的视频数据，保证了11个摄像头在仿真空间中的时空一致性。
另外，开悟生成的是1080P视频会更加清晰，更加方便模型进行训练。借助商汤日日新原生多模态的基模型，开悟可以达到元素级别的精准度，可以生成不同的场景和各种的 corner case，比如同一路段雨天变晴天、增加车辆种类数目等等。
有了开悟世界模型，绝影目前打造了覆盖 1024 类场景，包括了 50 多类天气、光照等条件的基础场景， 200 多类不同的交通标志、 300 多类道路的连接的场景，比如说路口、环岛还有隧道等等，而在这个基础上可以构建千万级别的场景库，覆盖更多的长尾场景。
智能座舱层面，绝影发布了「A New Member For U」（你的家庭新成员），号称让汽车拥有「有趣的灵魂」。
核心技术是我们详细介绍过的商汤原生流式多模态大模型，以及车载类人记忆框架和持续运行框架。
体验的亮点是更加“叛逆”，智能座舱不再只是一问一答的工具，而是能够主动学习，自我进化。
例如，在旅途中，后排的孩子睡着了，New Member会主动把空调温度升高、音乐的声量调低，底盘和驾驶模式都调整为舒适模式，给小朋友一个舒适安心的睡眠环境。
不需要用户下指令，而是它观察到了，思考和推理之后，主动的服务。既不打扰，又有温度。
车载类人记忆框架，与人类的记忆机制非常相似，包括临时记忆、长期记忆和场景记忆三部分，三者结合让系统实现类人的记忆能力。
例如，车内的小朋友看到路上其他小孩吃棉花糖，拿出棒棒糖想偷吃，New Member「家庭新成员」看到了这个小动作，「记得」小朋友刚看完牙医，不能吃糖，进行主动提醒。
此外，商汤绝影还打造了能够持续推理的Always-on运行框架，能够将多模态感知到的信息与各种记忆相结合，进行高效的处理和反馈，做到时刻感知需求，主动为用户服务。
两个技术进展“交卷”，分别来自量产智驾和智能座舱领域。
对应在商业落地层面的，绝影横跨智驾、座舱，同样给出了最新的落地进展。
商汤绝影，量产走到哪一步
商汤绝影商业化进展，包含在这张图中：
智驾智舱产品上车数量超过350万辆，覆盖超过30家车企100多款车型。
其中，智能座舱的AI软件产品，绝影的市场份额是行业目前绝对的No.1，连续五年。举几个例子，比如极氪X上的B柱智慧人脸识别系统、小米SU7上小爱同学识别路上汽车品牌、建筑类别等等复杂目标任务等等，都是绝影的提供的底层能力。
量产智驾上，目前公开的有6款车，覆盖3个车企：
产品方案上，包括基础智驾方案、覆盖全场景的高阶智驾，以及基于UniAD打造的端到端量产智驾方案。
地平线J6E和J6M两个平台，绝影打造了AD Pro和AD Max两个量产智驾方案，其中AD Max能够实现城区无图NOP。J6平台的智驾方案预计明年2季度就会量产交付。
200+TOPS的车载算力平台上，绝影已经具备量产无图，无激光雷达的1R11V高阶智驾方案，实现不挑城市不挑路段的“门到门”智驾。
这套“无图纯视觉”端到端方案，奇瑞旗下的大卓智能和东风集团刚刚和绝影达成协议，共同推进量产上车。
新的合作模式中，绝影也不再是一个简单的智舱或智驾模块供应商，而是和主机厂深度合作，分享商汤积累已久的AI大算力装置、云服务、工具链等等能力。
为什么会出现这样的转变？商汤联合创始人、首席科学家、绝影CEO王晓刚认为：
AGI时代，单打独斗的车企和AI公司都很难脱颖而出。
并且给出了技术层面的解析。
王晓刚：决战端到端，车端远远不够
所谓“地大华魔”的格局，是指去年圈内流行开的量产智驾头部玩家名单，以定点数量、舆论声势等作为参考：地平线、大疆、华为、Momenta。
商汤认为这样的评价体系已经成为过去式，但理由却不是常见的端到端带来的体验优越性。
王晓刚博士以绝影最新的技术架构作为依据：
端到端给了所有智驾玩家重新上桌出牌的机会，但这个机会并不平等。
因为端到端的数据驱动本质，决定了它本身上限极高，下限也极低的技术特征，所谓garbage in，garbage out。
所以商汤提出的第一个观点，是决胜不在车，不在端到端算法本身，而在云端更加庞大和关键的世界模型，生成仿真数据，形成双轮驱动车云、车轮一车云一体。
关键是获取大量、高质量的路测数据，当然还必须能持续获得。
也给出了具体的数据尺度：
目前绝影智驾研发中20%的数据，都是由开悟世界模型生成。在一块A100 GPU上，世界模型平均每天可以生产大约2万个bundle，相当于100台路测车的数据采集能力，或500 台量产车回传有效数据的效率。
而这样的GPU，商汤一共有超过5.4万块，另外世界模型生成的训练数据，往后还会进一步占比达到80%。
这其实才是“绝影”真正一日千里的核心，也是车企和AI公司无法“独赢”的底层逻辑。
特斯拉因其不可复制的历史原因，率先拥有了 700 万辆高阶智驾量产车，和算力达到 10万PFLOPS的基础设施，已经拿稳了L2+终局的门票。
但根据第三方统计，我们国内支持城区辅助驾驶高阶支架的车的数量约为数十万辆，并且不同的车型数据的基础设施也不统一，云端算力与特斯拉也有两个数量级的差距。
国内车厂要想追赶上，必须要通过新的模式来革新数据基础设施。
商汤绝影，同样因其难以复制的历史原因，形成了传统自动驾驶创业公司无法具备的大算力、大模型能力。
所以大卓、东风和绝影的合作模式，超越传统的地方不仅在于绝影愿意白盒交付，更关键在于绝影愿意把基础设施、底层工具直接部署到主机厂，合作开发。
换言之，将传统智驾模块用AI算法替代实现数据驱动并不难，甚至如今连“门槛”都算不上。端到端上车的体验、效率，关键是背后的数据能力。
所以从这个角度看，商汤绝影是目前智能供应商中的唯一：
顶尖AI大牛团队、全栈智舱智驾交付能力、“纯血”一段式端到端算法、自有超算基础设施、完善齐全的各类大模型应用。
以及完全To B，没有任何主导C端整车意愿的产品策略。
— 联系作者 —
— 完 —
「智能车2024年度评选」征集中！
智能车参考作为以智能维度关注汽车产业的内容平台，作为智能车领域最具影响力的社区，每年以年度盘点和评选的方式，为从业者及广大读者提供参考和注脚。
欢迎扫码报名！共同见证2024智能车新的浪潮之巅。
本次评选的截止时间为：2024年12月20日
— 完 —
【智能车参考】原创内容，未经账号授权，禁止随意转载。
点这里👇关注我，记得标星，么么哒～
