11月3日~6日,2024中国智能交通大会在杭州隆重召开。11月5日,在车路云一体化创新发展论坛上,中国科学院深圳先进技术研究院研究员、深圳北斗应用技术研究院院长张帆就《大模型在车路云复杂场景下事件的精准感知及高效决策应用研究》做了分享,本文系现场演讲整理而来,未经本人审核,如有错漏,敬请谅解。
自2023年ChatGPT受到广泛关注后,人工智能进入了涅槃重生的阶段,以大模型为代表的通用人工智能发展迅猛,正是由于通用人工智能的发展掀起新一轮信息技术革命,强人工智能时代正在到来,未来的大部分应用将根据大模型和通用人工智能进行重新规划设计。
经研究发现,大模型在多领域表现卓越,在自然语言理解、学习能力、视觉听觉识别等领域可以媲美人类。大模型主要具备以下几种特点,一是具备广泛而多样的通识能力,在巨大的算力和数据面前大模型的知识更加朴实、语料广泛多样;二是具备举一反三的泛化能力,大模型掌握多学科知识,能够进行组合创新,“举一反三”成为可能;三是具备强大的评估评价能力,能够进一步降低标注成本,在小模型阶段需要花费大量时间收集标注数据,大模型,例如GPT4等在语义相关任务具有出色的评估能力,让自动化的高质量评估成为可能,目前许多大模型厂商已经可以让大模型通过数据来自我训练,以此达到更高的水平;四是能够结合Agent(智能体)实现复杂任务规划与执行,智能体是大模型应用落地的核心关键,通过智能体把所有的工作进行拆解,然后再一步步执行;五是让跨系统的复杂系统认知成为可能,通用大模型在跨专业知识方面存在巨大优势。
目前大模型的落地在初始阶段,在行业实际应用中还存在着许多难点。
从技术角度来看,一是亟需高质量的数据底座,行业大模型建设需要大量数据,数据质量越高越多,应用效果越好;二是行业大模型需要同行业know how(知识工程)进行结合,行业业务流程拥有充足的经验,产品和服务更贴合客户需求,当前大模型能力仍不足以完全替代目前较为成熟的知识工程流程,需要与成熟的知识工程方案进行协同和结合,这也是未来AI发展的一个重点。
从交通角度来看,交通行业是个复杂巨系统,传统人工智能在里面目前只呈现碎片化应用,比如识别信号灯、识别违章等,想要真正解决问题,需要用大模型这根线把车流、道路、交通信号等所有的散点串联起来,形成更高维度的全局智能,通过对车、路、云等交通关键节点开展智能协同,形成对交通态势的全面、及时、精准的感知、控制与决策。
车路云一体化在这一难点上应运而生,是交通行业信息化、智能化发展的必经之路。车路云一体化发展经历四个阶段,一阶段是信息交互协同,主要实现车辆与道路的信息交互与共享;二阶段是协同感知,在信息交互协同的基础上,进一步利用车载和路侧的感知设备,对道路交通环境进行实时高精度的感知定位,从而为自动驾驶提供更全面、更准确的环境信息;三阶段是协同决策控制,在协同感知的基础上,进一步实现道路对车辆、交通的决策控制;四阶段是车路云一体化,通过融合智能网联车辆、路侧设施及云端平台,提供更全面、准确的交通环境感知,并协同交通场景各参与要素进行高效的全局智能决策。
车路云一体化过程中需要有AI和数据的流通,此前的AI算法大部分是碎片化的,未来更侧重于一体化发展,人工智能或大模型等相应技术可能会成为车路云一体化中的核心软件。
实现大模型结合车路云一体化首先要构建车路云一体化大模型体系架构,运用不同大模型赋能不同场景需求。目前很多厂商主要是在构建基座大模型,基座大模型不含有行业知识,需要学习各类文本和多模态数据,在基座大模型之上融合专有数据构建行业大模型,能够达到百亿级的模型参数,最后基于行业大模型进行专有数据精准微调,能够实现十亿级的模型参数,大模型未来的发展并不一定要在云端,通过裁剪后的场景模型也可以在边缘端应用。
主要分为三个方向,一是事件精准感知,二是交通流精准管控;三是人机智能协同。
应用方向一:多模态大模型提升事件精准感知
传统小模型长尾问题众多、准确率不高、解决方案严重碎片化,在某个场景建设的模型拿到其他场景就不能使用,需要进行场景再部署,此前深圳尝试运用道路摄像头检测路面病害,但实际误报率非常高,以至于无法把它变成真正的应用知识,让道路养护人员去处置。
引入多模态大模型后,可以提升视觉分析的精准度、泛化能力和场景适应性,小模型算法面临的问题可以通过多模态大模型进行优化。同时,考虑成本及带宽等问题,多模态大模型应用也需要有前端小模型来做相应支撑,大小模型协同应用其实是多级协同计算,多级协同计算可能是未来发展的主要应用点。
前端小模型进行实时检测,快速分析,后端大模型进行深度推理、二次判断,减少误报,最后通过人类反馈强化学习的方法实现整个算法模型的优化提升,这其中,结合了小模型计算快、成本低优势的同时,运用了大模型预测准确、方法能力强的优点。
车路云一体化场景中,可以在路侧端运用边缘小模型进行快速感知,在边缘云端运用大模型推理进行二次预警,在中心云端运用特色大模型进行优化,整体利用多级协同计算来实现事件感知的准确。
应用方向二:时序大模型增强多变场景下交通流预判能力
在交通场景里基本使用时序数据进行预测,包括实时监测、短时预测、长期预测等,但交通流预测是一个复杂任务:交通流组成复杂、交通流参数之间并非简单的线性关系;会受到外部因素比如天气、特殊事件等因素的干扰;交通系统存在动态性和不确定性;也需要考虑交通数据的质量和可用性问题。
2024年,Google提出了时序大模型TimesFM,在1000亿个各行业的数据上进行预训练,该技术在模型通用性、下游任务适应性、可扩展性、预测准确性等方向实现进一步突破,能够实现零成本的时间预测,不需要学习大量的预测方法,将数据输入进去就能得到一个精准度相对较高的预测结果,如果再加入已经处理完的样本数据,精准度将会进一步提高。8月份,清华大学发布一份新的时序大模型,该模型基于多领域时间序列进行大规模预训练,能够实现实时预测,以及填补,异常检测等任务。
新兴技术方案出台后,大大减少了对传统数据的依赖,同时能够快速实现预测方法的提升,所以我们认为时序大模型在交通流预测以及其他预测场景里能够发挥较大作用,通过数据预测结合交通仿真,将为路网管控决策提供量化支撑。
应用方向三:基于AI Agent构建人机协同管控闭环
AI智能体是指具有自主感知、学习、决策和行动能力的智能系统,车、道路、交通路口可能都是智能体,智能体发展最重要的是要进行人机协同,也就是说由人来设置目标,智能体再将目标拆分成不同步骤,让智能体来决定每个步骤使用大模型还是小模型,最后形成完整的闭环链条保障智能体的运行。
此前交通事件处置有很多预案,大部分很难定量和定性,比如无法准确知道拥堵成因和程度,也就是说以前的预案相当于知识库,在每个步骤上不同的人的理解不同,处理方式也就不一样。通过智能体的应用将预案知识库转向智能体模式,将知识工程里本有的预案和知识进行融合,实现步骤的分发和调度。
ChatGPT强调的也是思维链的过程,学习人的知识后,任务分级再决定每个任务谁来执行、怎么执行,这个过程也是智能体人机协同的过程,在今后可能会有较大发展。
对未来发展的几大思考。
一是多级协同计算是未来发展方向,一方面大模型可以裁剪小到边缘侧,边缘侧也会应用大模型,而且会越来越小,另一方面随着大模型学习越来越多知识后,云端的大模型会越来越专业化、行业化;
二是减少训练的时间和难度是模型的关键,行业大模型的训练需要更大量的数据,如何快速使用数据,减少训练的复杂度,提升规模效应,就能实现真正可用的模型;
三是智能体是人工智能技术落地的关键,未来跟业务的结合会更紧密,智能体通过“慢思考”(思维链)实现从感知到决策的端到端应用,真正做到辅助人做决策;
▼ 往期精彩回顾 ▼
港大发布OpenCity交通大模型预测路况,零样本下表现出色