NeurIPS 2024 | 解锁大模型知识记忆编辑的新路径

在当前人工智能的迅猛发展中，大模型的知识记忆能力成为了提升智能系统理解和推理能力的关键。然而，与人类记忆相比，机器记忆缺乏灵活性和可控性，难以在动态环境中实现有效的知识更新与编辑。人类的大脑拥有高度适应性的记忆机制，能够根据外部环境变化及时进行信息的筛选、修正与增强。这种能力不仅使得我们能够精准地获取信息，还可以根据任务需求高效地调用相关知识。

相比之下，现有的大模型主要依赖固定的参数和数据来存储知识，一旦训练完成，修改和更新特定知识的代价极大，常常因知识谬误导致模型输出不准确或引发「幻觉」现象。因此，如何对大模型的知识记忆进行精确控制和编辑，成为当前研究的前沿热点。

本文借鉴认知科学和人类记忆的机制，探讨了大模型终身知识编辑问题，提出了一种基于双重记忆机制的大模型知识编辑方法 WISE, 旨在持续更新大语言模型的世界知识和纠正其幻觉性输出。此工作结合参数化长期记忆和工作记忆，在保持语言模型通用能力的同时可成功对模型进行数千次连续编辑。

论文题目：

WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models 

论文链接：

https://arxiv.org/abs/2405.14768

代码链接：

https://github.com/zjunlp/EasyEdit

一、背景与挑战

图 1 可靠性、泛化性和局部性之间的度量三角

二、理论基础

2.1 终生模型知识编辑定义

图 2 终生模型编辑任务示意图

• 可靠性（Reliability）：模型能够在顺序编辑后记住当前和之前的编辑操作。
• 泛化能力（Generalization）：模型不仅仅记住查询-目标对，而是能够理解并泛化到不同类型的查询。
• 局部性（Locality）：模型编辑操作不会影响与编辑知识无关的预训练知识。

是当前编辑步骤的输入， 是期望输出；同时保留对过去编辑步骤中输入  的记忆，并维持对不相关数据  的处理能力。

注意，使用终生模型知识编辑技术并非必须一直编辑大模型，如积累大量新数据后可通过全量微调继续更新大模型的知识。终生模型知识编辑技术适用于小数据持续知识更新和谬误修正。

2.2 语言模型中的知识记忆

在人类认知中，工作记忆为生物大脑提供了暂时保存信息的能力，以便以适应不断变化的环境的方式执行对话、推理和数学等任务。相似地，过去的文献 [8, 9, 10] 表明语言模型的记忆可分为长期（情节性的）记忆和工作记忆（短期）：工作记忆可能存储在神经元的持续激活（推理时的 Activation）中，长期记忆可能存储在模型参数（Weight）中。

我们发现更新的知识驻留在记忆中的位置会影响编辑性能，现有方法可以大致分为两类：编辑长期记忆和编辑工作记忆。长期记忆是通过直接编辑模型参数来更新通用的参数化知识，这种方法会与之前的预训练知识产生冲突，导致局部性较差 (例如 FT-EWC [1]、ROME [2])；而工作记忆则是在推理时通过检索替换神经网络的激活/表征，不修改模型参数。尽管工作记忆方法在可靠性和局部性上表现优异，但其检索到的表征难以实现泛化，导致编辑的知识无法有效推广（例如 GRACE [3]、SERAC [4]）。这些揭示了长期记忆和工作记忆对于终身模型编辑都有缺点。

图 3 当前模型编辑方法的比较

三、WISE 方法介绍

人类大脑的左右半球在不同任务中的分工给了我们灵感，这启发我们设计了 WISE，一个具备双参数记忆机制的框架。WISE 通过主记忆存储预训练知识，并引入侧记忆来专门存储编辑后的知识。侧记忆可以被视为一种中期记忆，它结合了长时记忆的泛化能力和基于检索的工作记忆的可靠性与局部性。我们仅在侧记忆中进行编辑，并训练一个路由器来决定在处理查询时应使用哪种记忆。

为了实现连续编辑，WISE 还设计了一种知识分片机制，将不同的编辑集合存储在独立的、正交的子空间中，最后将这些编辑合并为统一的侧记忆。主记忆存储模型在预训练阶段学到的知识：

1. 侧记忆（Wv’） 作为一个副本，记录模型在编辑后的更新信息。

2. 知识分片：将侧记忆划分成不同的随机子空间来存储编辑信息。具体来说，对于第 i 个编辑碎片，我们为其生成一个随机梯度掩码 Mi。这些掩码确保了每次编辑都仅在侧记忆的特定子空间中进行，从而实现了编辑的局部化和正交化。

3. 自适应 Gate：采用基于激活的门控策略来决定在给定查询时使用主记忆还是侧记忆。门控激活指示器的计算方式是比较侧记忆和主记忆的激活差异（如下列公式所示）。我们设计了基于边界的损失函数，确保编辑查询的激活指标比无关查询大，具体目标是：编辑查询的激活值应大于无关查询，且两者之间的差异超过设定的阈值 γ

4. 知识合并：通过 Ties-Merge [5] 技术将各个子空间的知识合并为一致的表征，实现参数的高效利用。

四、实验结果

实验结果表明，直接修改模型权重会覆盖预训练的知识，导致新旧知识冲突，破坏局部性，影响模型对非编辑领域的保留。

五、实验分析

处理长序列持续编辑的潜力

路由激活可视化

在 LLM 中的引入位置

WISE 的额外开销

在编辑次数 3K 时，仅增加了 0.64% 的参数量和 4% 的 GPU 显存需求，且推理时间开销较小，具有较高的计算效率。

六、总结与展望

本文为长期模型知识编辑提供了一种新颖的解决思路，通过侧记忆设计和知识分片技术，在不牺牲模型性能的情况下，实现了知识的有效更新。未来的研究可以进一步优化路由策略，提升侧记忆的检索效率；探索更好的记忆架构，以应对更加复杂的编辑场景。

当前阶段，针对事实和实例记忆等类型的知识编辑，通常采用以下几种方法：外部记忆更新（如 RAG、Memory 等 [12][13]）、局部参数更新（如 ROME [2]、AlphaEdit [11]）或全局参数更新（如微调或对齐）。而对于更抽象的知识类型，如安全性、人格或自我认知等，还可使用运行时干预（Steering [12][13]）或慢思考方法（如借助 o1 思想进行错误修正）。

不断提升大模型的知识处理能力，进而实现通用人工智能（AGI），是学术界与工业界的共同目标。大模型知识编辑技术的突破，不仅能够促进大模型对新知识和新技能的快速、永久习得，还可以实现神经与符号知识之间的高效转换与处理。此外，当大模型出现致命错误或安全隐患时，基于知识编辑技术可以快速定位问题根源，并实现及时的干预和控制。这种技术对确保大模型的可信与安全至关重要。

此外，大模型的知识编辑技术不仅能有效优化模型的表现，还能促进对大模型知识机理的深入研究。通过对参数进行干预与分析，研究人员可以进一步解构并理解 「电子大脑」的运作原理。

参考文献

[1] Overcoming catastrophic forgetting in neural networks.

[2] Locating and Editing Factual Associations in GPT.

[3] Aging with GRACE: Lifelong Model Editing with Discrete Key-Value Adaptors.

[4] Memory-Based Model Editing at Scale.

[5] TIES-Merging: Resolving Interference When Merging Models.

[6] MEMORYLLM: Towards Self-Updatable Large Language Models.

[7] Memoria: Resolving Fateful Forgetting Problem through Human-Inspired Memory Architecture.

[8] FROST: A Distributed Neurocomputational Model of Working Memory Maintenance.

[9] Large Language Models with Controllable Working Memory.

[10] Adaptive semiparametric language models

[11] AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models

[12] Retrieval-augmented generation for large language models: A survey

[13] Towards LifeSpan Cognitive Systems

[14] Word Embeddings Are Steers for Language Models

[15] Steering Llama 2 via Contrastive Activation Addition

[16] Enhance Lifelong Model Editing with Continuous Data-Adapter Association

[17] WilKE: Wise-Layer Knowledge Editor for Lifelong Knowledge Editing

作者：王鹏

来源：公众号【ZJUKG】

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

melodybai@thejiangmen.com

或添加工作人员微信（yellowsubbj）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

关于我“门”

▼

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”: 

bp@thejiangmen.com