Collective behavior from surprise minimization
意外最小化的集体行为
https://arxiv.org/pdf/2307.14804v4
摘要
集体运动在自然界中无处不在；动物群体，如鱼类、鸟类和有蹄类动物，似乎作为一个整体移动，展现出从定向运动到旋转再到无序群集的丰富行为谱系。通常，这种宏观模式源于组成成分（例如，鱼群中的个体鱼）之间的去中心化、局部相互作用。这一过程的杰出模型将个体描述为自推进粒子，受到自发生成的运动和“社会力”（如短程排斥力和长程吸引力或对齐力）的影响。然而，生物体不是粒子；它们是概率性的决策者。在这里，我们引入了一种基于主动推理的集体行为建模方法。这一认知框架将行为视为单一指令的结果：最小化意外。我们证明，当考虑行为由主动贝叶斯推理驱动时，许多经验观察到的集体现象，包括凝聚、旋转和定向运动，自然涌现——而无需在个体代理中明确构建行为规则或目标。此外，我们展示了主动推理可以恢复并推广经典的社会力概念，因为代理试图抑制与其预期相冲突的预测误差。通过探索基于信念的模型的参数空间，我们揭示了个体信念与群体属性（如极化和访问不同集体状态的倾向）之间的非平凡关系。我们还探讨了个体对不确定性的信念如何决定集体决策的准确性。最后，我们展示了代理如何随着时间的推移更新其生成模型，从而形成对外部波动更敏感且更稳健地编码信息的群体。
重要性声明
我们引入了一种集体行为模型，提出群体中的个体成员，如鱼群或鸟群，通过最小化意外来行动。这种主动推理方法自然地生成了众所周知的集体现象，如凝聚和定向运动，而无需明确的行为规则。我们的模型揭示了个体信念与群体属性之间的复杂关系，表明对不确定性的信念可以塑造集体决策的准确性。随着代理实时更新其生成模型，群体对外部扰动变得更加敏感，并在编码信息方面更加稳健。我们的工作为理解集体动力学提供了新的见解，并可能激发动物行为研究、群体机器人学和分布式系统研究中的策略。
引言
动物协调群体行为背后的原则激发了从动物学到工程学再到物理学等多个学科的研究[1-3]。集体运动尤其是一个受欢迎的研究现象，部分原因是其引人注目的视觉表现和普遍性（例如，群集的蝗虫、鱼群、鸟群和有蹄类动物的放牧），部分原因是能够再现其许多定性特征的模型的简单性；如凝聚和定向运动[4-7]。因此，集体运动通常被引用为自组织复杂系统的典型例子，其中集体属性从分布式成分之间的简单相互作用中涌现。
流行的理论模型将集体运动视为由自推进粒子（SPPs）组成的群体，这些粒子通过简单的“社会力”相互影响。早期的模型，如Vicsek模型[6]，只考虑了简单的对齐相互作用，其中每个粒子将其行进方向与邻居的平均航向对齐。虽然这些模型简化了正在发挥作用的生物机制，但SPP模型——如Vicsek模型——因其易于进行形式化理解而有用，例如通过流体动力学和平均场极限计算普遍量和关系[8-11]。
最近的研究转向了更具生物学动机的模型，旨在模拟控制个体行为的特定行为回路和决策规则[12-15]。虽然这些模型在分析上不如SPP模型易于处理，但它们对生物学家等领域专家更具吸引力，因为它们可以生成关于个体环境中感知特征的预测，这些特征对于引发行为是必要且充分的。此外，这些预测可以通过实验进行测试[14, 16]。这种数据驱动的方法因此可以提供对决策的生物学和认知起源的机制性见解[13, 17]。
在这项工作中，我们提出了一种模型类别，将物理模型的第一性原理理论方法与生物学合理性相结合，从而形成了一种生态有效但理论基础扎实的基于代理的集体行为模型。我们的模型类别基于主动推理，这是一个设计和描述自适应系统的框架，其中认知的所有方面——学习、规划、感知和行动——都被视为推理过程[18-21]。主动推理起源于理论神经科学，作为一种规范性解释，将自组织的生物系统视为不断与其感觉环境进行预测交换[22-25]。
集体运动模型：从自推进粒子到贝叶斯代理
在流行的自推进粒子模型中，个体的运动被描述为由社会和环境力的组合驱动。这些力通常被视为捕捉生物集体运动中各种倾向的向量，如排斥力、吸引力（对邻居或外部目标）和对齐力。这些力可以与各种非线性和权重相结合，以捕捉相互作用的机制。
相比之下，主动推理方法放弃了指定显式的向量力，而是从将所有行为建模为推理问题的解决方案开始，即推断感觉的潜在原因的问题。感知和行动努力改进代理对其世界内部模型基础上的感觉输入的预测（见图1A）。通过为这个内部模型配备对环境潜在倾向的期望，“社会力”可以自然地涌现，因为代理试图抑制与其期望不匹配的感觉数据。这种视角转变提供了一种统一的建模本体论来描述适应性行为，同时也与稳态调节和神经功能过程理论等控制论原则相呼应，如预测编码[26-29]。
主动推理通过调用最小化一个单一的、包罗万象的目标函数来解释行为：意外，或在某些假设下，预测误差，从而将认知主义方法的构建效度与基于物理学的方法的第一性原理优雅性相结合。作为这种视角转变的一个例子，在这项工作中，我们研究了一类特定的生成模型，这些模型可以用来解释动物群体展示的集体行为类型。通过这样做，我们希望展示该框架的优点，同时也提出了一个可测试的模型类别，用于生物集体运动研究。
主动推理和行为生成模型
在动物行为定量研究中，一个常见的流程包括选择一个可能解释给定行为的候选行为算法或决策规则，然后拟合候选模型的参数以适应实验或观察数据[16, 30]。虽然这些方法通常能对数据产生强有力的定量拟合，但模型的解释力降低为对硬编码参数的解释，这些参数通常与实际生物机制或构造的关系不透明[31]。
在主动推理框架中，我们更倾向于问：一个有机体对其环境的最小模型是什么，足以解释其行为？行为被视为代理相对于这个世界模型最小化意外或预测误差的过程[22, 32]。预测误差最小化原则在神经科学中得到了实证支持[26, 33]，并在自由能原理的形式中具有理论基础[22, 23, 25]，这是一种对所有自组织系统的解释，将它们视为其环境的隐含模型，最终目的是最小化与感觉状态相关的意外（也称为自信息）[34-36]。
什么情况被视为意外取决于一个生成模型，该模型可以为感觉数据分配似然性。当涉及到建模由这一原则驱动的行为时，挑战就变成了指定一个生成或世界模型，其中特定行为模式仅通过最小化意外而涌现。
根据主动推理，代理通过改变对世界的信念（改变哪些观察被认为是意外的）或通过在世界中采取行动以避免意外的感觉数据来最小化意外。前一种策略被认为对应于被动过程，如感知和学习，而后者对应于主动感知和运动等过程。因此，行动的动机是希望生成尽可能少意外的感觉。
在本文中，我们将移动、相互感知的代理的运动描述为集体主动推理过程的涌现，其中代理既估计其感觉的隐藏原因，又主动改变其在空间中的位置以最小化预测误差。与使用预先指定的行为规则生成行为的模型相比，生成模型通过诉诸于有机体感觉输入生成的概率表示来产生集体行为。
(社会)粒子的生成模型
广义滤波与主动推断
一个配备了这种动态生成模型的代理通过更新其信念（状态估计，或滤波）和控制状态（行动）来执行主动推断，以最小化惊奇。
作为预测控制结果的社会力量
多变量感官运动控制
在单个感官区域（L = 1）的情况下，将社会力恢复为自由能梯度后，我们现在重新审视生成模型的状态空间的一般公式，其中隐藏变量 x 被视为 L 维向量状态：x = (x1, x2, ..., xL)，相应的 L 维观察 y = (y1, y2, ..., yL)。
具体来说，我们考虑每个 xl 表示在相邻感官区域子集中的一个区域内与邻居的平均距离，其中每个区域相对于下一个区域偏移一个固定的区域间角度（参见图1B 以获取多区域设置的示意图）。生成模型的其余部分是相同的；代理估计这些距离（及其时间导数 x'l, x''l, ...），同时改变其航向方向以最小化自由能。
遵循与单个区域情况相同的步骤，v 的更新规则是“区域向量”的加权和，其中每个区域特定模态的广义观察 y˜l 用于计算缩放相应区域向量的预测误差。这概括了 (5) 中的标量向量积到矩阵向量积：
数值结果
集体状态
这些距离推断代理的模拟群体显示出稳健、凝聚的集体运动（参见图2A 和补充电影 S1-S5）。图2A 展示了主动推断代理群体展示的不同类型的群体现象，其多样性和类型类似于动物群体 [49, 50] 和其他集体运动模型 [6, 7, 51] 中观察到的现象。这些现象从具有强代理间速度相关性的定向、一致运动（“极化运动”）到群体旋转模式，如旋转，其特征是围绕群体质心的高角动量。
将个体信念与集体结果联系起来
在所有但最精心构建的系统 [31, 52, 53] 中，个体与集体表示之间的关系通常是不透明的。特别是，个体层面的不确定性或“风险”与集体行为之间的关系是一个开放的研究领域。例如，一些研究表明，个体层面的风险敏感性增加可能导致集体层面的风险编码减少 [54]。受这些观察的启发，我们使用主动推断来检查个体层面不确定性与集体现象学之间的定量关系。我们首先检查群体运动的常见指标，如极化和角动量 [7]。在图2B 中，我们探讨了极化和角动量如何受到代理层面感官不确定性的两个组成部分（即感官精度的倒数）的影响：1) 代理与感官噪声相关的绝对精度；2) 与该噪声相关的自相关或“平滑度”。
我们已经看到如何使用主动推断将个体层面信念的特征（在这种情况下，关于感官精度的信念）与集体模式联系起来，在当前情况下重点关注用于研究集体运动的常见指标，如极化和旋转倾向。
在以下部分中，我们从研究自由运动期间发生的群体层面模式转向研究个体层面不确定性对集体信息处理的影响。我们首先研究集体信息传递如何依赖于个体对不同类型感官信息相关精度的信念。
集体信息传递
在本节中，我们从集体领导和决策文献中获得灵感，研究动物群体中的个体如何集体导航到远处的目标 [48, 57–59]。这种现象是通过集体信息传递实现有效领导的例子，其显著之处在于多个方面；其中一个方面说明了其涌现性质，即尽管（甚至正是因为）群体中存在未获得信息的个体，集体决策仍然是可能的 [57]。图3A 显示，参与此任务的主动推断代理再现了早期工作 [48] 中关于未获得信息个体比例与集体准确性之间关系的结果。即，随着获得信息个体比例的增加，达到多数偏好目标的准确性也随之提高。与前几节一样，我们还研究了这种效应以及平均目标达到准确性对个体层面信念的依赖性。
这个矩阵向量积可以被视为社会向量和目标向量的加权组合，每个向量的权重等于其各自的精度加权预测误差：
在线可塑性通过参数学习
群体调整其对环境变化（如快速扰动或信息变化）的响应能力是自然集体行为的一个关键特征 [15, 54]。然而，许多自推进粒子模型缺乏一种通用的方式来纳入这种行为敏感性 [48]，并且对外部输入表现出阻尼的、“平均”式的响应 [60]。这是由于经典模型通常为个体配备固定的交互规则和整合不同信息源的恒定权重。虽然在线权重更新规则和进化算法在某些情况下已被用于自适应调整单一代理参数 [48, 59, 61]，但这些方法通常缺乏理论原则，并由特定用例驱动 [有显著例外 [62–64]]。
主动推断提供了一种可调敏感性的解释，使用与前几节中导出行动和信念更新相同的原则：最小化惊奇。在实践中，当允许代理实时更新其生成模型本身时，这种敏感性就会出现。随着时间的推移更新生成模型参数在主动推断文献中通常被称为“学习” [65]，因为它涉及更新关于参数而不是状态的信念，其中参数和状态通过更新时间尺度的快慢来区分。我们利用这一思想，允许代理调整其生成模型，从而调整其行为规则，并将其称为可塑性，这与神经回路中的短期可塑性概念一致 [66]。为了使代理能够更新生成模型参数，我们可以简单地在 (9) 中的耦合梯度下降中增加一个额外的动力学方程，这次通过最小化关于模型参数的自由能，我们将这些参数归纳为一个集合：
行为可塑性对集体信息处理至关重要的一个例子是群体快速放大行为相关信息的能力，例如检测捕食者的存在 [67–69]。为了研究行为可塑性对集体响应性的影响，我们在启用或禁用在线可塑性的情况下扰动了主动推断代理群体中的单个代理。我们通过在随机子集的代理中诱导瞬态“幻影”预测误差来扰动群体，并测量群体的转向响应（详见材料和方法）。这些预测误差的结构（见图4A）旨在模拟瞬态视觉刺激，例如逼近的捕食者 [70]，这可靠地诱导选定个体的持续转向响应 [60]。图4 显示了启用可塑性对这些扰动的集体响应大小和敏感性的影响。与禁用可塑性的群体相比，启用可塑性的群体不仅对单个代理的扰动响应更强（4B），而且集体响应的大小对扰动的大小也更敏感（4C）。正如在生物群体中测量到的 [71]，启用可塑性的群体比禁用可塑性的对照组具有更高的动态范围来集体编码扰动的大小。
主动推断框架提供了一种灵活且理论上合理的方法来建模具有可调敏感性的自适应集体行为，避免了临时更新规则或昂贵的进化模拟。这里提出的可塑性机制不仅限于更新关于感官平滑度的信念：它可以扩展到使用相同原则更新关于任何模型参数的信念。实时适应生成模型参数的能力代表了主动推断和集体行为未来研究的一个有前途的方向，并可能导致关于自然界中适应性响应机制的更生物学上合理的假设。
讨论
我们提出了主动推断作为一种灵活的、认知启发的模型类别，可用于集体运动的理论研究，以及在经验设置中作为个体层面的行为模型。通过将行为框架化为预测误差最小化的结果——相对于个体的世界模型——我们提供了自然集体运动如何出现的示例，其中个体行为由最小化与感官信号相关的惊奇的迫切性驱动。在温和的分布假设下，这种惊奇由一个可解释的代理评分；即预测误差。在集体运动的特定情况下，一群配备简单局部社会信息生成模型的主动推断代理可以恢复和概括经典自推进粒子模型中作为核心机制的社会力。主动推断框架还提供了对这些模型中经常使用的临时“权重”参数的概率解释，这些参数以代理与不同类型感官信息相关的精度为依据。
我们还展示了主动推断框架如何用于表征生成模型参数与涌现信息处理能力之间的关系，如通过集体信息传递和对外部扰动的响应性来衡量。主动推断的普遍性使我们能够通过使代理灵活调整其对预测误差的敏感性来放松自推进粒子模型通常静态的行为规则。这是通过参数学习（即“可塑性”）等原则性过程实现的，并可用于模拟集体行为的自然特征，例如放大显著（即精确）信息的倾向，这些特征在自推进粒子范式中很大程度上被忽视，除非在明确引入适应规则的情况下 [48, 59]。然而，当我们简单地允许代理更新参数，除了信念和代理之外，使用惊奇最小化的原则，这些自然行为的许多标志可以轻松获得。
这里采用的惊奇最小化方法在理论上植根于基本的物理、控制论和信息原则 [23, 72–74]，同时由于信念和行动更新规则的可扩展性，也受到生物学的启发，这些规则被假设可以在神经回路中实现 [43]。因此，我们的方法也与现代“数据驱动”的行为生物学方法相协调，这些方法旨在直接从实验数据中定量估计不同生物系统使用的行为算法 [13–15]。
通过提供一种将感知、行动和学习视为最小化惊奇的单一驱动的灵活建模方法，我们强调了主动推断作为研究自然系统中集体行为的工具箱。该领域的未来工作可以探索框架如何用于研究其他形式的集体行为（不仅仅是集体运动），如多选决策、社会觅食和交流 [75, 76]。当前工作中的结果主要作为概念验证：我们从编写一个特定假设的主动推断模型开始，该模型涉及参与群体运动的代理，然后通过集成该特定模型的运动方程（即自由能梯度）来生成自然行为。从计算精神病学等领域获得灵感 [77, 78]，我们强调从简单的行为正向建模到数据驱动的模型反演的能力，其中希望推断出最能解释经验数据（如行为运动数据）的参数值。我们的方法不是使用“力映射”技术从行为测量中估计社会力 [79, 80]，而是将问题框架化为计算表型学，其中可以从从该动物获得的行为或神经数据中估计特定动物可能配备的替代生成模型。由此产生的“社会力”或交互规则将作为那些相对于最能解释动物行为生成模型的惊奇最小化的行为出现。模型参数和替代模型结构的估计都可以通过贝叶斯模型反演和系统识别方法（如贝叶斯模型选择、平均或简化 [81]）来实现。
https://arxiv.org/pdf/2307.14804v4
