今日值得关注的大模型前沿论文
清华、腾讯团队提出 MiniPLM：预训练语言模型的知识蒸馏框架
中科院团队通过自转向优化对齐大语言模型
LLM 支持多智能体集成方法，可实现高效的 EHR 数据标注
大语言模型赋能个性化网络智能体
新国大团队提出针对 LLM 的自学式反样本推理
想要第一时间获取每日最新大模型热门论文？
点击阅读原文，查看“2024必读大模型论文”
ps：我们日常会分享日报、周报，后续每月也会出一期月报，敬请期待～
清华、腾讯团队提出 MiniPLM：预训练语言模型的知识蒸馏框架
知识蒸馏（KD）被广泛用于使用教师大语言模型训练高性能的学生小语言模型（LM）。在预训练过程中，知识蒸馏虽然能有效地进行微调，但在效率、灵活性和有效性方面却面临挑战。现有的方法要么会因在线教师推理而产生高昂的计算成本，要么需要在教师和学生的 LM 之间进行 tokenization 匹配，要么可能会失去教师生成的训练数据的难度和多样性。
为了解决这些问题，来自清华大学和腾讯公司的研究团队提出了 MiniPLM，这是一个通过利用教师知识完善训练数据分布来预训练 LM 的 KD 框架。为了提高效率，MiniPLM 执行离线教师 LM 推理，允许对多个学生 LM 进行 KD，而不增加训练时间成本。在灵活性方面，MiniPLM 仅在训练语料库上运行，从而实现跨模型族的 KD。在有效性方面，MiniPLM 利用大型 LM 和小型 LM 之间的差异，提高了训练数据的难度和多样性，帮助学生 LM 获得多方面的复杂知识。
大量实验证明，MiniPLM 提高了学生 LM 在 9 个广泛使用的下游任务中的表现，提高了语言建模能力，并减少了预训练计算量。MiniPLM 的优势可以扩展到更大的预训练规模，这一点可以从扩展曲线的推断中得到证明。进一步的分析表明，MiniPLM 支持跨模型族的 KD，并提高了预训练数据的利用率。
论文链接：
https://arxiv.org/abs/2410.17215
GitHub 地址：
https://github.com/thu-coai/MiniPLM
中科院团队通过自转向优化对齐大语言模型
自动对齐开发了只需最少人工干预的对齐系统。自动对齐的关键在于为偏好学习提供可学习的、准确的偏好信号，而无需人工标注。
在这项工作中，来自中国科学院的研究团队及其合作者提出了自转向优化（SSO），这是一种在迭代训练过程中根据预定义原则自主生成高质量偏好信号的算法，无需人工标注。SSO 通过确保被选择和被拒绝的响应之间保持一致的差距来保持信号的准确性，同时使它们都符合政策，以适应当前政策模型的学习能力。SSO 有利于策略模型的在线和离线训练，也能加强奖励模型的训练。
他们用两个基础模型 Qwen2 和 Llama3.1 验证了 SSO 的有效性，表明它能在整个迭代训练过程中提供准确的政策偏好信号。在没有任何人工标注或外部模型的情况下，SSO 在六项主观或客观基准测试中都取得了显著的性能提升。此外，SSO 生成的偏好数据显著提高了奖励模型在 Rewardbench 上的性能。
论文链接：
https://arxiv.org/abs/2410.17131
LLM 支持多智能体集成方法，可实现高效的 EHR 数据标注
得克萨斯大学西南医学中心研究团队提出了一种由 LLM 驱动的新型多智能体集合方法，以解决 ML 中的一个关键难题——数据标注，尤其是大规模 EHR 数据集中的数据标注。对此类数据集进行人工标注需要专业领域的知识，而且劳动密集、耗时、成本高且容易出错。为了克服这一瓶颈，他们开发了一种 LLM 组合方法，并在两个实际任务中证明了它的有效性：（1）在 MIMIC-IV 中标记大规模未标记心电图数据集；（2）从电子病历的临床记录中识别健康的社会决定因素（SDOH）。
在权衡收益和成本后，他们选择了一批性能令人满意的各种开源 LLM。他们将每个 LLM 的预测视为一票，并采用多数投票机制和最小获胜阈值进行集合。他们在电子病历数据标注任务中应用了集合 LLM。通过使用集合 LLM 和自然语言处理，他们对包含 623,566 份心电图报告的 MIMIC-IV 心电图数据集进行了标注，估计准确率为 98.2%。他们将集合 LLMs 方法用于从 1,405 份电子病历临床记录的社会历史部分中识别 SDOH，也取得了很好的效果。
实验表明，集合 LLM 可以超越单个 LLM，甚至是最好的商业 LLM，而且该方法可以减少幻觉错误。通过研究发现：(1) LLM 集合方法大大减少了大规模EHR数据标注所需的时间和精力，实现了高精度、高质量的自动化流程；(2) 该方法可以很好地推广到其他文本数据标注任务中，如其在SDOH识别中的应用所示；(3) 一组不同 LLM 的集合可以超越或匹配最佳单个 LLM 的性能；(4) 集合方法大大减少了幻觉错误。
论文链接：
https://arxiv.org/abs/2410.16543
大语言模型赋能个性化网络智能体
网络智能体已成为根据用户指令自动完成网络任务的一个有前途的方向，可显著提高用户体验。最近，网络智能体已从传统智能体发展到基于大语言模型（LLM）的网络智能体。尽管取得了成功，但现有的基于 LLM 的网络智能体忽视了个性化数据（如用户资料和历史网络行为）在帮助理解用户个性化指令和执行定制操作方面的重要性。
为了克服这一局限，来自新加坡国立大学和香港科技大学的研究团队及其合作者首先提出了由 LLM 驱动的个性化网络智能体的任务，即整合个性化数据和用户指令，实现指令理解和操作执行的个性化。为了解决缺乏综合评估基准的问题，他们构建了一个个性化网络智能体基准（PersonalWAB），其中包括用户指令、个性化用户数据、网络功能以及三种个性化网络任务的两种评估范式。
此外，他们还提出了个性化用户记忆增强对齐（PUMA）框架，以使 LLM 适应个性化网络智能体任务。PUMA 利用具有特定任务检索策略的记忆库来过滤相关的历史网络行为。然后，PUMA 根据这些行为，通过微调和直接偏好优化调整 LLM，以执行个性化操作。广泛的实验验证了 PUMA 在 PersonalWAB 上优于现有的网络智能体。
论文链接:
https://arxiv.org/abs/2410.17236
新国大团队提出针对 LLM 的自学式反样本推理
机器学习的关键组成部分是用于训练的数据样本、用于学习模式的模型以及用于优化准确性的损失函数。与此类似，反数据样本（或反样本）、反学习方法和反向损失函数也有可能实现反学习。虽然之前的研究已经探索了解除学习方法和反向损失函数，但反样本的潜力在很大程度上仍未得到开发。
在这项工作中，来自新加坡国立大学的研究团队及其合作者提出了 UnSTAR：针对大语言模型（LLM）的自学式反样本推理（Unlearning with Self-Taught Anti-Sample Reasoning）。
他们的贡献有三个方面：首先，他们提出了反样本诱导解除学习的新概念；其次，他们利用误导性推理生成反样本，这有助于逆转已学关联并加速解除学习过程；第三，他们实现了细粒度的定向解除学习，允许在不影响相关知识的情况下有选择性地删除特定关联——这是以前的工作无法实现的。
论文链接：
https://arxiv.org/abs/2410.17050
