只有经过AI化的服务重塑,才能形成真正适合智能座舱场景的服务生态

科技   2024-11-08 18:02   浙江  
与云端大模型相比,端侧大模型在隐私保护、低延迟响应及个性化定制等方面具有显著优势,因此在应用需求持续提升、车端算力保障持续加强的背景下,大模型的端侧部署正成为行业发展的重要趋势。但由于产业尚处发展初期,端侧大模型仍面临模型压缩与优化、参数量和性能平衡与取舍、云端车端模型协同迭代等产业难题,面向未来应用场景与多智能体的生态体系也需进一步完善。
近日,中国汽车工程学会在上海召开了第十六期“汽车科技评论”闭门研讨会,定向邀请相关领域高端专家,围绕“智能汽车端侧大模型技术解读及智能体应用生态”主题进行了深入研讨与交流。

研讨会重点围绕智能汽车端侧大模型的发展趋势及应用前景、技术架构及生态互联两大维度的多个子议题展开深度研讨。会上,斑马智行大模型专家分享了对端侧大模型构建未来汽车智能体的创新探索,并与参会嘉宾交流了针对研讨议题的看法。

研讨会与会嘉宾部分观点:

一、AI Car有望借助多模态原生世界模型,打通物理世界和数字世界,成为整合人的需求并能与交通系统协同优化的具身智能体。AI Car在场景应用探索、端侧算力部署、软件生态打通、端云协同与隐私安全平衡方面仍面临挑战。


二、与AI PC、AI Phone等终端设备相比,AI Car的核心差异在于车内外多传感器的输入,使得多模态信息融合成为关键。因此需要构建能够同时处理视觉、音频、空间等动态信息,具备全面环境理解能力的多模态大模型,并拓展基于驾驶员状态的车内环境调节、车外交通参与者和车流动态分析等创新应用。


三、端侧大模型产业发展仍面临诸多卡点及制约因素。算法方面,需进一步研究端侧模型架构和模型压缩、模型加速等技术,探索从数据驱动转向知识驱动的模型训练和智能体开发方案;算力方面,终端硬件资源(芯片架构、算力性能等)需与端侧大模型协同适配,关注异构特性;数据方面,面向预训练-指令微调-偏好对齐三阶段对数据的需求,形成可扩展、多样化的数据构造体系。


四、端侧大模型通常由云端大模型压缩而来,重点在于提升模型知识密度。未来端云协同将成为AGI时代的基本形态,在不同场景实现功能和数据互补,强感知理解和强隐私相关及实时性要求高的功能优先部署在端侧,更复杂的生成类模型和知识检索模型则会倾向放在云端。


五、交互方式变革是端侧大模型和智能体生态发展的关键变量。未来端侧大模型会和操作系统融合发展,操作系统也会向AI OS演进,一方面底层技术的完善将会催生不同的创新应用,另一方面现象级应用的出现也将证明端侧大模型和AI OS的价值。


在9月底举行的云栖大会上,斑马智行对外展示了基于英伟达Orin X芯片平台及高通8295芯片平台的端侧大模型技术能力,获得参观者的广泛认同。
对于AI Agent智能体应用生态的发展,斑马认为,只有经过AI化的服务重塑,才能形成真正适合智能座舱场景的服务生态。
基于元神AI,斑马智行与钉钉联合打造了“闪记车听”Agent应用,在自然对话下,“闪记车听”具有前序会议追溯、弱网参会、对话式摘要、自动设置日程与待办等功能。

元神AI·闪记车听

在“闪记车听”中,基于对移动办公场景的深度理解,元神AI将原本封装在App中的各项应用功能进行原子化和AI化,解决了该场景下因安全第一性原则、网络不稳定等造成的诸多痛点。
斑马智行不仅致力于Agent专属合作,更会围绕用户需求与场景,合理组织原子化服务供给,构建座舱内容与服务,携手行业伙伴,共同推动互联网服务向智能化Agent的转变,引领行业创新。

部分内容来源自【节能与新能源汽车技术路线图】公众号

斑马智行
斑马智行是领先的汽车操作系统与人工智能科技公司,拥有自主研发的整车智能OS技术和座舱AI技术。
 最新文章