本文首次以“拓扑结构”的视角来探索多 Agents 系统对于各种有害信息的传递和防御机制，发现了 Agents 中类似于 LLM 的幻觉和安全性机制。
论文链接：
代码链接：
NetSafe 为目前研究中存在的问题提供的统一的框架和研究方向，通过规范化多智能体之间的交流机制，通过基于静态拓扑的图论指标评估，以及动态的多数据集表现评估，本文对 LLM 安全性进行了迁移，系统性地探索了多智能体系统在面对虚假信息（misinformation）、偏见（bias）和有害信息（harmful information）这三种恶意信息时的行为表现（见图 1）。
NetSafe 的核心要义在于将现今繁多复杂的多智能体框架的结构、通讯机制进行简化、抽象、统一，更多的关注多智能体系统的拓扑结构对于其安全性，即对于各种恶意信息传播和防御机制的研究。
2.1 多智能体网络定义
: 节点，代表一个 LLM。 : 有向边，表示 向 传递消息。 : 邻接矩阵，多智能体系统在运行、计算时的表示。
2.2 RelCom交流机制
为了统一现在繁多的 Agent 框架提供或自定义的通信方式，在 NetSafe 框架中，我们提出了“关系通信”（Relation Communication，RelCom）以抽象出一种可迭代的、标准化的交流机制，并赋予拓扑结构对安全性的影响以更多关注。RelCom 包括两个步骤：
: 是问题 的描述文本。 : 节点 对问题的初始响应，包括最终答案 、对应的推理 以及记忆 。 : 应用 LLM 生成实例并给出回复。
2. Renaissance（再次生成），此步骤分为两个子步骤：
收集入邻节点的信息：收集所有来自入邻域节点的信息 : 节点 在时间步 从其他智能体收集的信息。 : 邻接矩阵 中的元素。 更新当前节点的回复：通过考虑入邻域节点提供的额外信息和前一轮的信息，更新当前节点的回复
: 时间步 时的用户消息。 : 系统消息保持不变。 : 节点 在时间步 时考虑的信息集合。
2.3 攻击策略
在 NetSafe 框架中，我们主要探讨了三类恶意信息攻击：虚假信息注入（Misinformation Injection，MI）、偏见诱导（Bias Induction，BI）和有害信息引发（Harmful-info Elicitation，HE）。
这些攻击会通过多轮的通信过程在多智能体网络中传播，对网络的拓扑结构和整体性能造成不同程度的影响。统一的攻击策略用公式描述如下：
生成恶意答案：无论是虚假信息注入、偏见诱导还是有害信息引发，攻击节点都会生成一个攻击性答案 。该答案可以是错误的、不属于正确答案集合 的（MI 和 BI），或者包含在有害文本集合 中的（HE）。 生成恶意推理：攻击节点在回答问题时，故意生成带有偏见或有害内容的推理过程 ，以增强对其他节点的误导效果。 影响出邻域：在多轮通信中，攻击节点将更新后的答案 和推理 发送给其出邻域中的其他节点 ，加速恶意信息的扩散。
2.4 评估方式
NetSafe 提出静态和动态两种评估方式。静态评估方式是指利用图论中的一些公式根据拓扑结构直接计算出某些指标，故计算资源、时间消耗近似为零。动态评估方式则是在各种数据集上观察三种恶意信息对于多智能体系统的任务能力的影响，是其安全性的直接反映。
: 攻击者节点的结合。 静态评估的指标可以来自于图论，如：网络效率，特征向量中心性等；也可以是新提出的一些指标，如：攻击路径脆弱性等
单个智能体准确率（Single Agent Accuracy，SAA）：用于评估网络中单个节点在特定时间点的准确性 : 为指示函数，当 时为 1，否则为 0。 : 节点 在时间点 上的给出答案。 : 是问题 的正确答案。 : 动态评估的数据集集合。 多智能体联合准确率（Multi-agent Joint Accuracy，MJA）：用于评估多智能体系统在单次交互中的整体性能
: 可以是网络中所有节点 、正常节点集 或攻击节点集 中的任意一个。
基于 NetSafe 框架，我们测试了多智能体系统在多种数据集任务和拓扑结构下的表现，如表 1 所示：
以上结果表明了虚假信息，无论是来自于 LLM 幻觉还是恶意攻击，都会在多智能体系统中逐渐传播，造成系统整体的性能下降。基于以上结果，我们首次发现了该现象，并命名为“多智能体幻觉”。多智能体幻觉与 LLM 幻觉类似，但是其负面影响由于多智能体的交流特性而远胜于前者，值得更广泛的关注和研究。
除此以外，我们揭示了多智能体面对偏见和有害信息时的安全性防御机制，如下表和图所示：
以上结果表明偏见和有害信息难以在多智能体系统中传播，这与虚假信息注入的结果是不同的。这是由于单体 LLM 全面、深入的安全性对齐工作，导致多智能体网络表现出防御机制。类似的，我们首次发现了该现象并将其命名为“聚合安全”。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
