全球 AI 顶会 NeurIPS 2024
将于当地时间12月10日-15日
在加拿大温哥华举办
蚂蚁集团共有20篇论文被收录
本期论文秀给大家介绍其中的
三篇代表论文
AMOR: A Recipe for Building Adaptable Modular Knowledge Agents Through Process Feedback / AMOR: 可适应的知识智能体构建方法
本研究开创性地提出了AMOR，一个能够融合事实知识与领域知识，进行智能生成的知识代理。它基于有限状态机，构建了与外部知识库交互的推理逻辑，通过灵活切换模块，解决用户提出的各类开放问题。用户可直接对模块提供反馈，形成高效的过程监督。我们采用两阶段微调策略，先通过公开数据集样例训练基座语言模型，使其具备泛化能力；再利用过程反馈，将其精准适配至特定知识环境。实验证明，AMOR在多个领域的知识正确性上，均远超基线模型。
Rethinking Memory and Communication Costs for Efficient Data Parallel Training of Large Language Models / 重新审视显存和通信成本对大语言模型高效数据并行训练的影响
大语言模型（LLMs）的分布式训练面临诸多挑战。现有基础策略在训练速度上存在优化空间。本研究重新审视了数据并行技术中的显存和通信成本问题，提出了部分冗余优化器（PaRO）这一新策略。PaRO通过更精细的分片策略适配不同训练场景，加速LLM训练；同时，PaRO集合通信（PaRO-CC）通过优化拓扑结构，提升了集合通信速度。我们还提供了一种基于简单定量计算的数据并行策略选择指南，以最小化排序错误。我们还提供了一种通过定量计算来选择合适的数据并行策略的工具，能帮助用户快速配置策略启动训练。
实验结果表明，PaRO在LLM的一些训练场景下，速度最快提高到 266 %。而PaRO-CC在模型并行策略中，也能获得17%的训练速度提升。
LLMDFA: Analyzing Dataflow in Code with Large Language Models / LLMDFA: 基于大语言模型的代码数据流分析
编程世界正经历一场深刻变革，代码分析与验证的重要性日益凸显。传统程序分析技术受限于编译器生成的中间表示，难以适应开发阶段尚未编译的代码，且定制化难度大。我们洞察到大语言模型（LLM）的程序语义理解能力，开创性地提出了一种基于LLM的数据流分析技术——LLMDFA。通过巧妙设计prompt，引导LLM输出高质量分析结果。针对源-汇不可达数据流问题，LLMDFA有效支持了空指针解引用、除零错误等漏洞检测任务。我们借鉴传统数据流分析算法, 将问题分解为更易解的子问题，并通过 LLM 合成工具的调用代码, 自治地调用 parser 和 SMT solver在内的分析工具, 大幅提高了分析精度和召回率。LLMDFA在多个测试套件中，展现了与传统技术相当甚至更优的效果。
为让大家更深入了解这三篇论文的研究背景、方法创新及实验成果，我们邀请来论文一作在直播中为大家解读与互动，他们分别是：
关 健：蚂蚁技术研究院副研究员
张涵笑：蚂蚁高级开发工程师
王程鹏：普渡大学计算机科学系博士后研究员
直播观看指南
直播时间：
2024年12月12日 12:00-14:00
直播平台：
微信视频号【蚂蚁技术研究院】、【蚂蚁技术AntTech】、B站【蚂蚁技术研究院】同步直播，敬请预约关注。
