10月24日,由中国计算机学会主办的2024中国计算机大会(CNCC2024)在东阳市横店开幕。
大会首日,蚂蚁集团联合浙江大学、中国科学技术大学、中科院计算所、西安交通大学,中国人民大学等单位共同组织了“AI大模型的科技探索与应用交流活动”,多位专家和学者从产学研用多个角度,共同探讨大模型技术发展与应用落地的挑战和解决方案。
图说:蚂蚁集团基础智能部技术总监、资深算法专家张志强担任主持人
陈恩红:
大模型驱动的科研范式变革与实践
中国科学技术大学讲席教授、博士生导师,认知智能全国重点实验室副主任陈恩红带来了“大模型驱动的科研范式变革与实践”的分享。
陈恩红教授认为人工智能在数学、化学、生物、材料、环境等科学研究领域已展现出强大应用潜力,推动科学探索进入全新维度。当下大模型作为人工智能技术前沿,进一步打破传统研究瓶颈,推动多领域创新,加速重大科学突破,已成为引领全球科技竞争的重要力量。
比如在化学领域的应用ChemCrow (NMI2024),突破了传统化学研究在实验重复性、规模化及复杂分子设计与反应预测方面的局限性,采用GPT-4作为核心模型,集成18种化学工具,通过“推理-行动-观察”迭代循环,模型自动化选择合适的工具,处理分子属性计算、反应预测、合成路径规划等化学问题。比如生物方面,AlphaFold3(DeepMind,Nature2024)突破了传统生物分子结构预测的局限性,能够对包括蛋白质、核酸、小分子、离子和修饰残基在内的复合物进行联合结构预测,在单个统一的深度学习框架内,可以实现跨生物分子空间的高精度建模。
在谈到AI for Science的未来时,陈恩红教授指出,要探索大模型在数据、推理、评测、应用的发展方向,构造AI for Science 的强大生态,针对大模型当前存在的各种难题与挑战,针对性地开发新的算法和技术,促进生态高效发展。
陈华钧:
浅谈大模型的知识增强与知识治理
浙江大学计算机学院教授、博导,浙江省数智科技研究会副会长,中文开放知识图谱OpenKG牵头发起人陈华钧带来的分享是“浅谈大模型的知识增强与知识治理”。
陈华钧教授首先谈到了大型语言模型与知识图谱在知识表示与处理中的优势与挑战。通过喂入更大规模、更多模态的训练数据,可以让大模型获得更大范围、更加丰富的知识量。但一昧追求规模不仅训练代价难以承受,也逐步面临互联网语料逐步耗尽的约束上限。
陈华钧教授指出,另外一条路径则是通过提供更加规范化、更高质量的训练语料来提升模型能力。未来的大模型实践之路应该坚持“规模+表示”并重,在算力日益受限的现实条件下,甚至应该更多关注怎样拓展和挖掘“表示红利”。
除了知识增强,陈华钧教授还介绍了大模型的知识治理,即在参数化空间识别大模型中的幻觉知识、更新过时知识、去除有毒知识、编辑错误知识、保护版权和隐私知识等,为听众展示了通过知识图谱辅助大模型的幻觉检测,通过知识编辑去除有毒知识等大模型知识治理领域的最新进展。
陈华钧教授认为符号知识与大模型未来的融合发展趋势,为人工智能的发展提供新的思路和方向。这一融合有望在提高模型智能性与可靠性的同时,推动知识处理的创新与进步。
程学旗:
数据基础设施与广谱关联分析
中科院计算所副所长、智能算法安全重点实验室主任程学旗带来的分享是“数据基础设施与广谱关联分析”。
人机物三元连接促成了数据赖以产生、流通、聚合和使用的数据空间的形成。发展数据空间的首要任务,同时也是国家的重大战略,即为推动数据基础设施建设,以实现数据价值的充分释放。
程学旗教授深入探讨了数据空间与数据基础设施的概念,分析了数据价值提炼的模式,并详细介绍了广谱关联分析技术及其在数据基础设施中的应用实践。通过多个典型应用案例,展示了广谱关联分析在实际场景中的有效性和重要性。
师斌:
垂直领域的大模型推理增强
西安交通大学电信学部计算机学院副教授,博士生导师师斌分享了“垂直领域的大模型推理增强”。
由于缺乏领域知识,通用大模型通常难以胜任垂直领域复杂任务,为解决该问题,师斌提出了一套针对垂直领域的通用大模型推理增强框架。
首先,在大模型微调阶段,提出一种面向少样本学习的大模型微调框架,自适应挑选出对当前大模型最具挑战的样本,实现在有限标注内训练收益最大化;其次,设计了一种基于大模型的伪标注算法,将模型结构化输出中子元组的交互关系建模为因子图,引导大模型对预测进行细粒度自检以提高伪标签可信性,极大降低领域微调的人工标注成本;最后,在大模型推理阶段,提出一种自举式的可信思维链增强框架,通过标签引导大模型生成可信思维链,同时逐步削减任务难度,采用迭代的方式生成所有样本的可信思维链,以此增强大模型的少样本推理能力。
实验结果表明,该方法在多模态方面情感分类任务中,显著增强了大模型Zero-Shot性能,最大增幅达20.44个百分点。与同期Few-shot微调模型相比仍保持较大领先优势。
李崇轩:
扩散模型前沿进展
中国人民大学准聘副教授,博士生导师李崇轩分享了“扩散模型前沿进展”。
扩散模型从理论基础上来讲,主要关心如何去刻画输入数据的联合概率,同时这个刻画方式非常神奇,借鉴了物理学中扩散的概念。扩散概率模型逐步地对先验分布去噪恢复数据分布,可以有效地建模各类视觉数据。
李崇轩介绍了连续扩散模型的理论、方法与应用,包括高效采样、基础架构设计与训练、视频生成、三维物体生成与可控编辑等,并简单探讨了离散扩散模型的前沿进展。李崇轩认为利用对应微分方程的结构求解闭式解,可以显著加速扩散模型生成过程,扩散模型可以和Transformer结合,保持可扩展性,训练基础模型,基于分布匹配思想可以有效解决基础扩散模型中的迁移质量差等问题,扩散语言模型的发展大概处于GPT-2阶段。
陈景东:
蚂蚁多模态大模型进展与展望
蚂蚁集团平台技术事业群资深算法专家陈景东分享了“蚂蚁多模态大模型进展与展望”。
陈景东介绍,蚂蚁百灵多模态大模型通过处理图像、文本、语音等多种模态的数据,成功实现了在复杂推理和多场景应用中的广泛适应。
陈景东还介绍了百灵多模态大模型的模型结构,包括多层次特征融合与深度视觉提示、视觉思维链、原生多模态及全模态微调等。在应用层面,百灵多模态大模型支持了支付宝400万小程序和8000项生活服务的“一键智能化”,极大地提升了用户体验。面向未来,蚂蚁致力于打造可信应用框架,加速大模型在产业中的广泛应用和落地。
王剑:
支付宝医疗大模型技术与应用
蚂蚁集团资深算法专家,医疗大模型负责人王剑分享了“支付宝医疗大模型技术与应用”。
王剑分析了医疗AI落地在严肃性、复杂性、专业性和个性化等4方面的挑战,以及针对这些挑战支付宝医疗大模型所做的探索。支付宝医疗大模型在蚂蚁百灵通用大模型的基础上,添加了千亿级医疗文本语料,包含报告、影像、药品等亿级中英文图文数据,以及千万级高质量医疗知识图谱。在中英文医疗考试、基准测试达到或超过GPT4水准。其医疗专业能力在中文医疗LLM评测榜单promptCBLUE中,位列A榜第一,B榜第二。同时,支付宝医疗大模型支撑了支付宝医疗健康管家应用,支持医疗知识问答、导诊预问诊、医保政策查询、医生推荐等多项功能,以及医生、运动、饮食健康、睡眠等多个智能体。报告解读、药品、毛发等图像准确率达90%以上。
蚂蚁百灵大模型是一个全面的基础模型体系,不仅具备语言、视觉等多模态的智能处理能力,还涵盖了从基础认知到高级决策的智能体系。蚂蚁百灵大模型还是支付宝百宝箱智能体开放平台的模型底座,百宝箱智能体通过标准化的接口和协议,使得不同领域、不同场景的AI应用能够无缝对接,降低了AI技术的接入门槛。
面向未来,蚂蚁集团正在积极拓展多场景的行业应用,从医疗、金融到日常生活,真正让AI技术逐步服务普通人的生活,让用户的生活更加便捷、智能。