研讨会重点围绕智能汽车端侧大模型的发展趋势及应用前景、技术架构及生态互联两大维度的多个子议题展开深度研讨。会上,斑马智行大模型专家分享了对端侧大模型构建未来汽车智能体的创新探索,并与参会嘉宾交流了针对研讨议题的看法。
研讨会与会嘉宾部分观点:
一、AI Car有望借助多模态原生世界模型,打通物理世界和数字世界,成为整合人的需求并能与交通系统协同优化的具身智能体。AI Car在场景应用探索、端侧算力部署、软件生态打通、端云协同与隐私安全平衡方面仍面临挑战。
二、与AI PC、AI Phone等终端设备相比,AI Car的核心差异在于车内外多传感器的输入,使得多模态信息融合成为关键。因此需要构建能够同时处理视觉、音频、空间等动态信息,具备全面环境理解能力的多模态大模型,并拓展基于驾驶员状态的车内环境调节、车外交通参与者和车流动态分析等创新应用。
三、端侧大模型产业发展仍面临诸多卡点及制约因素。算法方面,需进一步研究端侧模型架构和模型压缩、模型加速等技术,探索从数据驱动转向知识驱动的模型训练和智能体开发方案;算力方面,终端硬件资源(芯片架构、算力性能等)需与端侧大模型协同适配,关注异构特性;数据方面,面向预训练-指令微调-偏好对齐三阶段对数据的需求,形成可扩展、多样化的数据构造体系。
四、端侧大模型通常由云端大模型压缩而来,重点在于提升模型知识密度。未来端云协同将成为AGI时代的基本形态,在不同场景实现功能和数据互补,强感知理解和强隐私相关及实时性要求高的功能优先部署在端侧,更复杂的生成类模型和知识检索模型则会倾向放在云端。
五、交互方式变革是端侧大模型和智能体生态发展的关键变量。未来端侧大模型会和操作系统融合发展,操作系统也会向AI OS演进,一方面底层技术的完善将会催生不同的创新应用,另一方面现象级应用的出现也将证明端侧大模型和AI OS的价值。
元神AI·闪记车听