近日，中国计算机学会（CCF）推荐的A类国际学术会议NeurIPS 2024（Conference on Neural Information Processing Systems）论文录用结果公布，THUNLP 7 篇论文被 NeurIPS 2024 录用。
神经信息处理系统大会（Conference on Neural Information Processing Systems，简称 NeurIPS）是机器学习领域最权威的会议之一，与 ICML、ICLR 并列为机器学习三大顶级会议，也是中国计算机学会推荐的 A 类会议。今年的会议 NeurIPS 2024 将于 12 月 9 日至 15 日在加拿大温哥华的 Vancouver Convention Center 举行，大会总共收到了 15671 篇有效投稿，最终录用率为 25.8%。
我组录用论文信息
3D Structure Prediction of Atomic Systems with Flow-based Direct Preference Optimization
预测原子系统的三维结构是科学领域中的一个基础而具有挑战性的问题。近年来，生成模型在这一领域展现出一定优势，但此前的方法多聚焦于扩散模型，且采样过程中也常常生成非法结构。为了解决这些问题，作者提出了一种新的框架——FlowDPO，它通过流匹配模型（flow matching models）探索多种概率路径，并进一步利用直接偏好优化（Direct Preference Optimization, DPO）抑制结构生成过程中的不合法问题。作者的方法首先使用预训练的流匹配模型为每个训练样本生成多个候选结构。然后根据这些结构与真实结构的距离进行评估和排序，从而生成一个自动偏好数据集。基于该数据集，作者使用DPO对原始模型进行优化，从而提高其生成与目标参考分布高度一致的结构的能力。理论分析表明，该范式和目标函数能够与任意高斯路径兼容，展现出良好的普适性。在抗体和晶体的实验结果中，作者的FlowDPO展示了良好的效果，表明其在利用生成模型预测三维结构领域的巨大潜力。
作者： 矫瑞，孔祥哲，黄文炳，刘洋
合作方： 中国人民大学
Full-Atom Peptide Design with Geometric Latent Diffusion
多肽设计在治疗学中具有关键作用，能够开辟利用以前无法药物化的靶点结合位点的全新可能性。在本文中，作者提出了一种用于全原子肽设计的几何潜在扩散生成模型（PepGLAD）。作者首先建立了一个由PDB和文献中的1D序列和3D结构组成的基准，用于系统评估现有生成模型的效果。利用现有扩散模型进行肽设计的两个主要挑战：全原子几何结构和结合位点多变的几何结构。为了解决第一个挑战，PepGLAD 设计了一个全原子变分自编码器，首先将可变大小的全原子残基编码为固定维度的隐空间表示，然后在隐空间中进行扩散过程后解码回数据空间。对于第二个问题，PepGLAD 探索了一种特定受体的仿射变换，将3D坐标转换到标准化的几何空间，从而提高了跨不同结合位点形态的泛化能力。实验结果表明，在序列结构共设计任务中，作者的方法不仅显著提高了多样性和结合亲和力（用rosetta衡量），还在结合构象生成上表现出色。
作者： 孔祥哲，贾寅君，黄文炳，刘洋
合作方： 中国人民大学
📑 https://arxiv.org/abs/2402.13555
InfLLM: Training-Free Long-Context Extrapolation for LLMs with an Efficient Context Memory
大规模预训练语言模型（LLMs）近几年在众多任务上取得了突破性的进展，成为众多应用的基础模型。这些真实应用也给LLMs处理超长序列的能力提出了更高的要求，例如大模型驱动的智能体需要基于所有历史记忆持续处理从外部环境接收的信息，对话式AI需要更好地记忆与用户的对话内容从而产生个性化回答。然而，现有的大模型往往训练长度有限，将它们应用到超长文本中存在分布外长度与注意力干扰两大挑战。为了高效地实现大模型的长度泛化能力，作者提出一种无需训练的记忆增强方法：InfLLM，用于流式地处理超长序列。具体来说，InfLLM将远距离上下文存储在额外的记忆单元中，并采用了一种高效的机制来查找与当前词元相关的记忆单元，以进行注意力计算。因此，InfLLM允许大模型在有限的上下文窗口内高效处理长序列，并很好地捕捉长距离依赖关系。在不进行任何训练的情况下，InfLLM使得预训练长度仅有几千的大模型，能够实现与在长序列数据上持续预训练的模型相当的性能。即使序列长度扩展到1,024K，InfLLM仍然能够有效捕捉长距离依赖关系。
作者： 肖朝军， 张朋乐，韩旭，肖光烜，林衍凯，张正彦，刘知远，孙茂松
合作方： 麻省理工学院，中国人民大学
📑 https://arxiv.org/abs/2402.04617
微调是使大型语言模型（LLMs）适应不同应用的关键过程。在某些情况下，例如多租户服务，部署多个 LLM 对于满足复杂的需求是必要的。最近的研究表明，将微调的LLM分解为基本模型和相应的增量权重，然后使用低秩或低比特方法进行压缩以降低成本。在这项工作中，作者观察到现有的低秩和低比特压缩方法会严重损害特定任务微调的LLM（例如，用于数学问题的WizardMath）的模型性能。受delta权重中奇异值的长尾分布的启发，作者提出了一种使用混合精度的delta量化方法。该方法采用更高位表示对应于较大奇异值的奇异向量。作者在各种经过微调的 LLM 上评估了作者的方法，包括数学、代码、问答，甚至多模态理解。实验结果表明，作者的方法与完全微调的LLM相当，大大超过了低秩和低比特的基线方法。此外，作者的方法与各种骨干 LLM（如 Llama-2、Llama-3 和 Mistral）兼容，展示了方法的通用性。
作者：平博文*，王硕*，汪汉卿，韩旭，徐玉庄，闫宇坤，陈云，常宝宝，刘知远，孙茂松
合作方： 北京大学，上海财经大学
📑 https://arxiv.org/abs/2406.08903
从社交网络、生物研究和推荐系统，图分析的需求在各个领域普遍存在。因此，使大语言模型（LLMs）具备处理图的能力是朝向更高级通用智能迈出的重要一步。然而，目前LLM在图分析方面的基准测试要求模型直接对描述图拓扑的题目进行推理，因此仅限于包含几十个节点的小型图。相比之下，人类专家通常基于流行的库编写程序来解决任务，因此可以处理不同规模的图。为此，一个自然而然的问题出现了：LLMs能像专业人士一样进行图分析吗？
在文章中，作者介绍了Prof.Graph，这是一个手工制作的基准测试，包含3类图任务。该基准希望基于编程而不是直接对原始输入进行推理。作者发现，当前LLM的表现不如人意，最佳模型仅达到36%的准确率。为了弥补这一差距，作者推出了LLM4Graph数据集，其中包括基于6个常用的Python库爬取的文档和自动生成的代码。通过使用文档对闭源LLMs进行检索增强生成，并在代码上微调开源LLMs，作者展示了它们的准确率可以提高了11-32%。
结果表明，LLMs在处理结构化数据方面的能力仍有待探索，并显示了LLM4Graph在增强LLMs图分析能力方面的有效性。
作者：李鑫*、陈暐泽*、褚祺峙、李浩鹏、孙照钧、李燃、钱忱、魏燚伟、刘知远、石川、孙茂松、杨成
合作方： 北京邮电大学、中国石油大学（北京）克拉玛依校区
虽然大模型在种种自然语言处理任务上有突出的表现，但高昂的部署代价极大提升了它的使用门槛。现有的量化、剪枝等方法尝试对大模型进行压缩，进而减少其空间占用和计算量。为了探索大模型的极限压缩并为端侧部署大模型创造更多可能性，本文提出大模型1bit极限压缩框架OneBit，首次实现大模型权重压缩超越90%并保留大部分能力。OneBit框架总体上可以包括：全新设计的1bit模型结构、基于原模型初始化量化模型参数的方法以及基于知识蒸馏的深度能力迁移。这种全新设计的1bit模型结构能够有效克服以往量化工作在1bit量化时严重的精度损失问题，并且在训练、迁移过程中表现出出色的稳定性。量化模型的初始化方法能为知识蒸馏设置更好的起点，加速收敛的同时获得更加的能力迁移效果。在各种大小和系列的模型上进行的广泛实验表明，OneBit在代表性的强基线上具有明显的优势，并实现了模型大小与性能之间的良好折中。此外，作者进一步分析了这种极低比特量化模型的能力和前景，并为未来的研究提供了指导。
作者：徐玉庄、韩旭、杨宗瀚、王硕、朱庆福、刘知远、刘卫东、车万翔
合作方： 哈尔滨工业大学
📑 https://arxiv.org/abs/2402.11295
基于大语言模型的多智能体系统在解决复杂任务方面取得了巨大进步。然而大多数系统的前提是信息共享且对称。当利用智能体之间的通信来加强人类合作以解决现实问题时，会因为每个智能体只能访问其人类用户的信息而出现信息不对称，从而出现新的挑战。为了解决这个问题，作者提出了一种新的多智能体范式，称为 iAgents，即informative Multi-Agent System。iAgents镜像人类真实社交网络来组织智能体网络，其中智能体主动交换解决任务所需的人类信息，从而克服信息不对称。iAgents采用一种新颖的信息导航推理机制，引导智能体之间的通信并实现有效的信息交换。此外，作者引入了 InformativeBench，这是第一个专门用于评估信息不对称条件下语言模型智能体任务解决能力的基准测试。实验结果表明，iAgents可以在140个人和588个关系的社交网络中协作，自主交流超过30轮，并从近70000 条消息中检索，并在3分钟内完成任务。
作者： 刘维*，王晨曦*，王一飞，谢子昊，邱忍耐，党余凡，杜卓耘，陈纬泽，杨成，钱忱
合作方： 鹏城实验室
📑 https://arxiv.org/abs/2406.14928
关于我们
清华大学自然语言处理与社会人文计算实验室（TsinghuaNLP）成立于 20 世纪七十年代末，是国内开展自然语言处理研究最早、深具影响力的科研单位，也是中国中文信息学会计算语言学专业委员会及中国人工智能学会因果与不确定性人工智能专业委员会的挂靠单位。实验室在学术总体带头人孙茂松教授及学术方向带头人刘洋教授、刘知远副教授的带领下，围绕以中文为核心的自然语言处理，在语言大模型、跨模态大模型、中文信息处理、机器翻译、知识图谱、智慧教育、社会人文和艺术计算等方面开展系统深入的研究，在国内外具有较大的学术影响。近年来，实验室承担了国家 973 项目、国家重点研发项目、国家社会科学基金重大项目等多项重要研究任务，并与腾讯、华为等企业建立密切的学术合作关系。
Website：http://nlp.csai.tsinghua.edu.cn/
Email：thunlp@163.com
GitHub：https://github.com/thunlp
https://github.com/OpenBMB
Twitter：https://twitter.com/TsinghuaNLP
