Towards a geometry and analysis for Bayesian mechanics
FEP 的最新综合评论（在撰写本文时）包含在 [And21、MSB21、 FCS+22] 中。我们的主要参考文献是 [Fri19] 和 [DCFHP21]。从某种意义上说，这部作品是这两篇论文的续集，或者更准确地说是前传。它不仅仅是对 FEP 批评者的回应，也是澄清 FEP 的形式结构和数学的练习。2实际上，我们的目的并不是明确捍卫 FEP，甚至也不是修补它 ‑ 相反，我们假设它是正确的，并旨在通过回归基础来提升它。
在本文中，用公理术语表述了自由能原理下贝叶斯力学的一个简单情况。 我们认为，任何对其动力学有约束的动态系统必然看起来像是在针对这些约束进行推理，并且在非隔离系统中，此类约束意味着嵌入系统的外部环境变量。 利用统计力学中经典动力系统理论的各个方面，我们表明这种推论相当于香农熵函数上的梯度上升，在状态空间上的局部遍历概率测度下恢复近似贝叶斯推论。 我们还使用动力系统理论中的一些几何概念（即约束构成规范自由度）来详细说明如何将保持自组织的愿望解读为作用于系统的规范力。 在此过程中，给出了许多独立感兴趣的结果。 总体而言，我们为那些纯粹由随机动力系统的描述驱动的形式提供了一种相关但可替代的形式主义，并朝着用形式数学语言全面表述自组织物理学迈出了进一步的一步。
大多数人认为，复杂系统理论处于伽利略时代。 虽然伽利略本人是一位有远见的人，了解经典力学和相对论的影子，但伽利略的物理学却是前牛顿物理学。 他进行了观察，并将其作为建模工作的理论思想，但是，组织他观察到的现象的更高原理对他来说是无法理解的，因为完全解释它们的微积分和几何都不知道。（参考：诺奖、普利高津、菲尔兹奖得主等都没搞定的问题的分析报告视频）相比之下，我们已知许多复杂系统的例子，并且对它们的动力学有有效的（如果是现象学的）解释。 生物系统是研究复杂适应性系统所面临的挑战的一个特殊例子，其中我们越来越多地了解底层机制——为什么事物会以它们的方式表现——但对组织原则——为什么事物会以它们的方式存在——仍然知之甚少。 目前尚不存在复杂系统理论的正式方法。 尽管事实上存在复杂性的物理基础（主要存在于统计物理学中）和物理学的数学基础（主要存在于几何和分析中）。
在这里，我们希望研究一下这个基础图可能是什么样子。 任何物理理论都有相当规律的数据分配，包括由场操作的原理、由几何建模的场，以及将场限制在系统世界线的一些力学。 因此，场论是一种在限制于单个系统而不是整个场时采用原理并产生机械理论（某些动力学的规定）的东西。 因此，如果我们希望发展复杂动力学的形式理论，我们可以首先找到产生这种动力学的原理和伴随的场论，并看看遵循什么公理。
最近的研究表明，正确的原则是一种推论原则，它是为了解释自组织的含义而建立的，因此，远离平衡，而大多数复杂性的特征都是从平衡中产生的。 特别是，上面提出的形式数学和物理动力学之间的循环已经通过随机动力系统的自由能原理（FEP）部分闭合，呼吁使用基本优化来对复杂系统的行为进行数学函数公式化 已知构成大多数物理学基础的原理 [RBF18、Fri19、MSB21、FCS+22]。 这是这种复杂性数学理论的一个很好的例子。 即便如此，围绕 FEP 的核心阐述和成就仍存在一些问题，其中许多问题仍未解决（有关这方面的关键论文，请参阅 [AMTB22]）。 为 FEP 的各个部分奠定几何基础，并提供围绕它的一系列形式结构，激发了此处描述的结果。受到形式数学对物理思想的革命性处理的启发，本文将奠定以微分几何、泛函微积分和范畴论元素的语言表述 FEP 理论思想的理论的开端。 重点放在建立一种方式，以形式形式、数学地表达自由能原理，作为与表现出复杂特征的动力系统相关的物理概念。我们首先对自由能原理的替代表述进行一些评论 特别是在第 2.3 节中，我们概述了系统信念的自由能如何成为系统状态熵的对偶函数。我们在第 3 节中给出了研究熵的背景；在那里，我们引入了最大熵的约束包含自由能原理中系统性的作用的想法，见证了两个原理之间的等价性。显然最长的部分是第 4 节，它正式规定约束最大熵是讨论自由能原理的等效语言。通过将自由能原理转化为关于自熵最大化的陈述，我们有机会将 FEP 扎根于一些传统的数学和物理学中。该部分的其余部分利用这一事实来证明有关 FEP 的旧的和新的陈述。
在接下来的章节中，我们使用最大熵原理来建立自由能原理的场论语言。在第五节中，我们讨论如何将最大熵视为半经典场论的作用，特别是与规范场相互作用的作用。本文的第二个主要部分是第 6 节，我们讨论了先前关于最大熵规范对称性的结果，并详细展示了它如何像规范力塑造概率动力学。第 6.3 节给出了重要结果，涉及这种形式主义如何阐明非平衡稳态的本质。
更具体地说，我们将详细阐述三个关键思想，用几何和分析术语重新表述自由能原理提出的推理思想，并提出一条正式的、基于证明的通向贝叶斯力学的路径：(1) 近似贝叶斯推理相当于特定约束下的熵最大化（定理4.1和4.2），(2) 该约束充当系统的潜力，其描述由熵的梯度上升给出（定理 4.3 和 6.2），并且(3) 这种约束以与规范场与物质场相互作用相同的方式塑造推理过程的动力学（定理 6.1）。除了围绕自由能原理的现有框架之外，这些结果推动我们对复杂系统和非平衡随机性的物理学进行阐述，并提出了将生物视为场论的观点。 and non-equilibrium randomness, and advance a view of living things as field theories.
本文的目标是至少部分独立，因此，下面给出了最大熵和自由能原理的概述。对规范场理论及其数学对象的描述很大程度上留给了其他资源，第 6 节中有一些稍微不合教学的评论。很好的参考文献包括 [RW02、Nak03、Wit18]。我们假设（不失一般性）我们讨论的系统及其状态空间是低维的并且没有奇点，但不一定是线性的。 在关键的面向分析的部分中，我们假设底层噪声过程是维纳过程，并定义了一些隐含的算子规则。 自始至终，我们假设我们可以充分或有效地描述一个系统作为给定系统的含义，即它满足什么属性、它可以占据什么状态以及它拥有什么样的动态。 虽然仅在原则上可行，但援引明确定义的“系统性”的存在来规定给定系统的基本属性是对该主题进行任何正式研究的必要基础。2.1. Bayesian mechanics and the free energy principle.2.1.贝叶斯力学和自由能原理。自组织是这样一种概念，即复杂系统，尤其是自适应系统，似乎存在于稳定的状态体系中，这些状态是由看似复杂（即非线性或混沌）的动态系统强制执行的，从无序中塑造出某种秩序。特别是，复杂性的许多特征可以被理解为复杂系统的组成部分及其动态耦合之间的某种协同作用（参见[Hey08]的评论）。自由能原理于 2006 年首次被描述为一个框架，通过贝叶斯估计来理解人脑中的感知和表征 [FKH06，Fri10]，自由能原理是对复杂系统如何变成和保持组织的解释。它概括了一些有关感知、学习、自创生、形态发生和生命物理学的旧理论[FCS+22]。最初仅应用于人脑，后来扩展到更广泛的领域，包括一般的物理系统。它被认为是随机动力学中非平衡的综合理论[Fri19，PDCF20]。 [Fri12] 和 [RBF18] 对该原理进行了很好的概述，列出了其数学和概念性的主张；这个数学内容稍后在 [Fri19] 中详细研究，特别是其第三部分，并在 [DCFHP21] 中的机械结构中进行了举例说明。其他工作示例以及对隐含物理动力学的评论存在于 [AMTB22] 和[FHU+21] 中。 [RKF20] 有效总结了 FEP 中编码的推理到更动态情况的扩展。
FEP 的最新综合评论（在撰写本文时）包含在 [And21、MSB21、 FCS+22] 中。我们的主要参考文献是 [Fri19] 和 [DCFHP21]。从某种意义上说，这部作品是这两篇论文的续集，或者更准确地说是前传。它不仅仅是对 FEP 批评者的回应，也是澄清 FEP 的形式结构和数学的练习。2实际上，我们的目的并不是明确捍卫 FEP，甚至也不是修补它 ‑ 相反，我们假设它是正确的，并旨在通过回归基础来提升它。FEP 的动机是试图说明系统作为一个系统意味着什么，即存在并保持一个有凝聚力的整体。其结果是，一个有组织的系统应该并且保持独立于其环境，这就是 FEP 开始其工作的地方。因此，它不仅仅是一种非均衡理论，而且是一种关于结构如何持续存在的理论。特别是，它是一种关于尽管有熵的攻击但在一定时间范围内以稳定的方式保持组织的理论，并且规定了这种系统的动力学必须是什么样子。虽然这对于复杂的非平衡系统（其结构主动抵抗平衡驱动）来说信息量最大，但任何具有不同内部和外部状态概念的系统都满足原则上是FEP。这基本上包括任何稳定的物理结构（即，不是量子真空），并且仅排除那些与其环境隔离或嵌入任何环境的理想化系统。更相关的是，任何没有失去其结构并通过某种衰变加入其环境的结构化系统都可以被建模为对熵的抵抗，即使这仅在某个非常短暂的时间尺度上有效，并且不能合理地称为“抵抗”积极的意义。嵌入在环境中的任何系统都将通过两者之间的耦合反映该环境的统计结构的双重观点同样有效，并且似乎是同义反复。这些要点分别在备注 2.1 和第 2.3 节中详细阐述。![]()
我们假设具有内部状态µ的系统位于具有自己的一组状态η的外部环境中，并通过两者之间的某些界面上的动态相互作用耦合到该外部环境。我们进一步假设该接口由“毯子状态”b组成，它们只不过是称为马尔可夫毯子的系统状态的一个独特子集，直接与环境交互。最后，我们假设存在一个 injective函数 ![]()
将共享覆盖状态上给定的一对内部和外部状态相关联。我们将这些状态中固有的噪声建模为一些随机微分方程，这样这些状态的波动是可能的；因此，特别是，σ将给定总状态的预期内部状态映射到给定总状态的预期外部状态，并且可以松散地认为是对![]()
上的 injective“4”。![]()
此外，系统的相互作用外部状态是对满足随机动力系统的随机变量结果的观察，具有隐藏的生成过程。对于 FEP 中的推理链来说，重要的是系统与影响其状态的因果因素相互作用，但无法直接“了解”这些因素，因此推断出其内部状态所伴随的外部状态“5”。注释：5Or can be modelled as such. The entire discussion revolves around this distinction, a not always explicit assumption about the normativity of the FEP; see [And21] for an account of this problem.这些推论意味着内部状态通过将最佳结构映射到一组特定的环境状态，状态可以承载对环境的信念；至少在微不足道的意义上，任何嵌入式动力系统都是如此 [VBM22]。![]()
假设预期的外部状态 ^η 是描述环境的密度的充分统计量，或者是其某种变分近似。我们说系统内部的状态起着编码外部状态概率的作用，使得内部状态参数化引起特定内部状态的可能外部状态的概率密度 q(η; σ(μ))。该密度需要匹配对状态 p(η, µ, b) 的真实或最佳信念，当![]()
时发生，使得![]()
[DCFHP21]。从代理的角度来看，它获得了关于外部状态的内容和含义的语义理论，用于解析感官流 即环境如何作用于它[RFH20]。当这个密度与外部环境状态的实际概率相匹配时，系统与其环境相协调，因此在活跃的情况下可以响应并抵抗导致系统耗散的环境波动。内部状态“识别密度”![]()
和环境的最佳信念模型 p(η, µ, b) 之间的关系足以将 FEP 视为一种理论的推论。有趣的是，即使在平衡结构的微不足道的情况下，我们也拥有 FEP 的所有成分：由外部状态引起的内部状态、这些相互作用发生的边界，最重要的是，内部反映的环境统计结构系统的状态。我们在例 2.1 中给出了一个例子。这表明我们应该能够以明确定义的方式从更简单的系统中提取一些关于真正复杂系统的见解，这是我们方法的核心动机 ‑ 最终，我们寻求推断关于 FEP 旨在实现的系统类型的见解通过对更简单的系统和这些系统更严格理解的数学的讨论来描述。我们现在可以提供一个关于 FEP 中“模式匹配”行为的简短引理，该行为是上面通过同步映射 σ 定义的![]()
Lemma 2.1. A system is optimal when it occupies the expected internal state for a givenblanket state.当系统占据给定总状态的预期内部状态时，该系统是最佳的有时我们将 q(η | µ) 表示为qμ(η)，以强调我们是在以事件而不是随机变量为条件，以便将其用作 q 的充分统计量的参数。这种符号选择也出现在 FEP 文献中，大概是出于类似的原因。重要的是，引理 2.1 中的证明纯粹是启发式的：我们在最后一行的假设无法得到满足，因为 p(η, µ, b) 在形式上与![]()
完全不同。尽管如此，我们还是通过定义（也是启发式的）自由能来开始现在被称为 FEP 的内容：![]()
Definition 2.1. Free energy is the quantity在这种情况下，我们将密度 p(η, µ, s) 取决于随机动力系统 m 的存在，从而建立一个关于总体数据如何与外部状态相关的模型。这可以被认为是毯子的表示，或者毯子引起的模型[Fri12]。请注意，期望是相对于密度 q(η | µ) 的。由于期望算子的线性，（1）采用内能减去熵的形式（参见交叉熵），因此是热力学自由能的类似物。事实上，它是系统“可用”的能量，可以使自身或环境发生变化，并且很像热力学系统，稳定配置是同义反复的自由能最小值，其中不需要做功。也就是说，当系统的自由能从上方趋近于零时，系统从受环境改变转变为稳定。因此，自由能可以被视为相对于内部状态而言最小化。此外，系统可以通过改变其环境来减少自由能，以改变令人惊讶的一揽子状态。这包括 FEP 与组织和自组织的物理驱动联系。 F 中的“内能”是系统状态的内在惊奇的平均值，因此任何这样的一组状态的惊奇都可以解释为一种构型能量。这个数量必须与对该状态的信念相匹配。我们强调定义 2.1 中的表达式并不是真正的热力学自由能，而是一般来说是控制理论或信息理论量 [UDCF21,And21]。 我们还（再次）强调，它没有正式意义，但作为整个 FEP 的动机很有用：与其他变分推理方法一样，（1）据说是由系统动态的最佳程度控制的。 特别是，内部状态 µ（我们提醒自己，实际上是给定总状态的内部状态）是（1）的控制参数。 暂时搁置我们的怀疑，如果 µ 是给定总状态的预期内部状态![]()
，则 (1) 完全相同为零。 这种关系的总体依赖性是 FEP 的一个微妙但重要的特征，有时会被此处和其他论文中使用的速记符号所掩盖。 它允许我们定义变分自由能，它是 (1) 的近似值，这确实有意义：重要的是，我们采取步骤根据适当的 KL 散度（也称为相对熵）来公式化此处的各种结果的自由能。我们这样做并不失去普遍性。请注意，在文献中，上述完整表达式有时称为变分自由能，因此 (1) 也是如此。我们使用定义 2.2 中所示的术语来获得类似于引理 4.2 的结果。假设毯子由某种传感器组成。很明显，系统观测值的变分自由能限制了这些观测值和由此产生的内部状态的惊奇，‑ ln![]()
，从上面看。从概念上讲，自由能原理可以概括为以下事实：当模型接近时，观察到的环境状态的意外性（给定环境模型 q(η | µ)，编码为内部状态）会最小化到环境的实际模型。因此，“自组织系统最小化其自由能”的原则是系统对观测结果不会感到惊讶的原则，换句话说，环境的变化是可预测的，几乎不携带任何新信息，并且不允许威胁系统完整性。事实上，如上所述，预期的内部状态通过映射到预期的外部状态精确地最小化了自由能。在此过程中，我们得出结论，状态空间的概率度量仍然集中在优选状态周围，其平均值是给定外部状态和内部状态之间的某种关系的预期内部状态，并将其视为自组织。总结：从数学上讲，自由能的最小化可以最小化内部熵，从而最大化系统自身状态的对数证据。正是在这个意义上，FEP本质上是当前和持续存在的不证自明的[Hoh16]因为不证自明的最大化的结果是类系统状态上的非平衡概率密度能够抵抗耗散。也就是说，继续存在的事物 特别是远离平衡的事物 是抗分散的，因此必须是它们不证自明的最大化者。更一般地说，上面给出的意外是对总体（以及系统）完整性的衡量，因为总体状态的意外变化被认为是令人惊讶的 因此，最小化总体状态的意外意味着分隔内部和外部状态的总体仍然存在到位。这种语言中的一些积极的品质掩盖了其陈述核心的同义反复，这些陈述是从具有结构的平衡系统推广到描述具有更强适应性的系统的。许多系统本身并没有假设环境如何导致其状态的模型，而只是凭借现有的[RFH20]体现其自身存在的证据。事实上，这与平衡情况的简化是一致的。平衡系统通过反映其环境而具有明确的结构证据，这是由于环境统计对平衡状态下的内部状态的自由附带性而发生的 当这些内部状态影响外部自由度时，许多这样的系统甚至会具有活动状态。在这种情况下，简单地说，内部状态平均会与平均外部状态耦合，但可以将这些系统中缺乏适应性描述为由于总体状态的外部原因的极差（即，缺乏表达）模型的结果。“6”注释：6For example, a stone irradiating heat in the sun may only have one internal degree of freedom trackingexternal states: its temperature. In the form of synaptic weights, a human may have millions.另一方面，长时间保持非平衡的系统需要“知道”什么是平衡以避免它，或者知道他们的环境将迫使他们走向哪个固定点，以便通过以下方式不言而喻：避免环境有意改变内部状态。这样的系统维持一个模型，但如果它们无法最小化给定信念集的自由能，则会返回平衡结构。这种代理权的丧失可以被描述为惰性。在生命系统中，这是一种称为死亡的状态。有关马尔可夫毯“传递”的更多信息，请参见定理 4.4。迭代推理的概念作为变化统计数据的代理，例如在环境变化后无法提供证据的非自适应系统，在多个地方都被提及。通过改变环境状态来确定目标导向的行动，确定内部状态的可能性，这些行动是维护现有内部状态所确定的结构的一种练习。单独地，这些内部状态可以改变，以符合最小自由能的密度或通过最小自由能的密度来描述。我们将继续说，后者正在对可能的内部状态的一组约束进行推理。备注 2.1。活动状态在马尔可夫毯子的传递中发挥着有趣的作用，这是稍后将在我们的框架中使用的区别的基础。在 FEP 的标准处理中，毯子状态通常分为感觉状态和活动状态，以保持条件独立性的方式耦合到内部和外部状态。通过活动状态，系统可以改变环境状态。如前所述，许多系统（例如辐射热量的石头）都会具有微不足道的活动状态，因此自适应系统和非自适应系统之间的区别更像是这些活动状态如何（或不分别）用于维持给定的结构面对动态的环境。另一方面，拥有明确定义的内部状态需要系统结构和关键属性的定义，并通过从最小变分自由能的稳态密度中采样来强制执行；如前所述，该描述既适合自适应系统，也适合非自适应系统。我们在例 2.1 中更多地讨论了一块石头的例子，我们将其称为惰性系统，即具有非自适应动作状态的系统。同样，尽管使用了主动语言，惰性物理系统实际上并不计算导数。因此，许多优化原理 包括最小作用原理、最大熵原理和 FEP 而是以变体的方式进行，使得所调用的优化可以归因于梯度流，而梯度流实际上可以由一个简单的对象来实现。许多系统（例如扩散粒子）都可以通过某个量来很好地描述，这些量总是随着系统的时空演化而减少。对这种现象的事后解释是，系统正在计算该量，然后流向该量的驻点，但事实要简单得多：该量是一个李亚普诺夫或 H 函数Lyapunov or H-function that controls the dynamics of the ，它通过基本函数控制系统的动力学。以及相当自然的最小化过程，或者更简单地说，以一种富有洞察力的方式与这些动态相一致地变化。因此，由内部状态编码的概率分布必须通过某种损失驱动的动态流向外部状态的概率分布。这通常是指两个分布之间的 KL 散度，在活跃情况下，它会向系统的其余部分传播某种误差信号，从而激发自我修正“7”。注释：7Under a notion of system-ness as consisting of the key properties and states that make a system,identifying ‘entering constrained states as drifting away from allostasis’ with ‘propagation of error by dopaminergic signalling’ recovers the implementation of the FEP in the human brain known as predictive processing [Fri10]. Parallels to other theories like interoception [ALPF19] are also obvious.对于惰性系统，力矩误差开始传播是结构不复存在的时刻。对于自适应系统，这种梯度流是由系统最小化原理 (1) 导出的力学理论，其中自由能随着复杂系统的动态而减少。事实上，自由能最小化的趋势在形式上是任何贝叶斯机械系统都遵循的李亚普诺夫函数。例 2.1。将石头视为惰性 FEP 系统的一个例子，具有有序的晶体结构，但处于平衡状态且不活跃。石头没有动力不存在源自内部状态的目标导向的活动状态，例如躲避威胁。同样，石头无法调整其内部状态来反映环境的变化，石头永远不会软化自己以承受锤子的打击并保持石头的状态。尽管如此，只要它存在，石头就会在不同的时间点上最小化它的自由能，证据就来自存在。在这里，石头的内部状态参数化了一组可能的外部状态（例如环境温度），其中外部状态导致内部状态并被石头的皮质“观察到”。根据备注 2.1，该结构的存在等同于系统性，但石头的惰性排除了任何主动或适应性属性。在上述示例中，石头被破碎后，其描述从晶体结构转变为矿物颗粒的粉末。每个这样的粒子都有自己的内部状态和环境边界，因此 FEP 仍然适用。这就是我们所说的迭代推理，它解释了故障系统模型的统计数据变化。 Friston、Da Costa 和 Parr8 即将推出的作品重新衍生在缺乏马尔可夫总体假设的情况下，FEP 的基本结果是我们对可能的分区（主动的、感觉的、协调的活动、纯粹环境的active, sensory, coordinated activity, purely environmental）类型进行区分也是至关重要的。与这些结果一样，为了描述像石头这样的东西的内部状态，有必要指定这些状态在 FEP 下实际上可能具有什么样的内容。贝叶斯力学应该被视为自由能原理的结果，就像经典力学是最小作用原理的结果一样。原则是某些理论应该是什么样子的规定；机械理论是原理的结果，当应用于特定系统时，该原理反过来又为我们提供了该系统的动力学。从这个意义上说，它们是同义词，因为最小化其自由能的系统将表现出贝叶斯力学。该术语的这种用法有些特殊，但与 [DCFHP21] 和 [Ram21] 等一致。2.2. Inference of distributions and of dynamics.2.2.分布和动态的推断。通过构建过程模型，推理事物可以考虑观察到的状态的概率，将其反转以估计没有噪声的真实状态，或者更动态地求解与随机微分方程相关的主方程。最大熵是一种推理过程，它假定任何数据的最佳模型，以及生成该数据的过程（的输出）的最佳模型，是在先验约束 J(x) 的约束下最大化微分香农熵的模型关于状态的可能概率 [Jay57, JB03, PGLD13b]。在这里，最大熵“模型”是指对潜在噪声动态的统计数据进行编码的概率密度，就像采样过程一样。这种类型的模型暂时被认为与自由能原理所假设的模型不同，但我们稍后会看到它们在精确的一致性上是一致的。φ、f(φ) 和 V 分别为任意场、函数和势。这在第 4 节和第 6 节中起作用，因为它提供了与最小作用原理下经典力学的变分微积分的直接类比。约束通常源自数据的外部知识，并且通常对应于可观测量的已知值。从推论上讲，约束既是对状态的相对概率进行加权的状态函数，又是对该过程应该是什么样子的一些知识的表达，作为我们知道数据必须符合的规则。因此，约束只不过是数据中相关信息的综合，指导给定解决方案的可能性。这反映在以下事实：没有约束的最大熵是无知识密度，即均匀密度，而受约束的最大熵产生除了约束之外没有任何信息的密度。事实上，最大熵的一个关键方面是约束可以被解读为可能的状态的事先规范[Sak22a]。由于 (2) 的定义方式，状态 J(x) 的约束成为模型必须满足的矩。例如，假设我们知道观察到的随机变量的平均值，那么描述 Y 的密度必须具有期望自始至终，我们对推理和动态推理进行了隐含的区分。从广义上讲，推理是寻找某些数据模型的过程； 这要么是生成该数据的分布，要么是某个过程生成被观察样本的随机变量的分布。 另一方面，动态推理应该将数据生成过程的模型塑造为动态系统，给出数据演化的概率——换句话说，就是样本路径。 由于专注于理论的一个简单案例，即仅对动作进行简短评论的静态系统类系统，我们主要讨论分布推理，以及可能的迭代分布推理以编码统计数据随时间的变化。
Lemma 2.2. A process samples from a steady state density if and only if its statistics are stationary.引理 2.2 的结果是，在其他条件相同的情况下，平衡和非平衡稳态之间的差异由严格的物理需求组成（例如，详细平衡的存在和潜在能量流的性质）。事实上，细节平衡是比平稳性更强有力的概率密度存在条件，并且很容易构造具有不对称转移的平稳马尔可夫过程。在物理方面，最大化约束熵并不是真正的最大化熵，而是通过消散熵从系统中提取进一步的功的可能性。这种熵的差异是通过自由能精确测量的，自由能是密度 exp{－V (x)} 和真实 p (x)之间的差异，正如前面通过将自由能表示为 KL 散度所建议的那样（定义2.1 和 2.2）。备注 2.2。根据 de Finetti 定理，当过程的统计数据在某个相关时间尺度上是静⽌的时，分布推理和动态推理这两个概念在该时间尺度上是一致的。特别是，在平稳情况下，时间索引的随机变量序列中的每个随机变量都来自相同的分布。使用引理 2.2 和备注 2.2，我们将平稳过程作为 FEP 系统的充分基本模型，因为任何受控过程都是平稳的，因此具有由 FEP 决定的稳态。事实上，这些条件也是必要的，这在4.2节中讨论。在之前的文献中，非平衡通量存在下内部变量的稳定性被认为是复杂系统自组织的标志（有关相互作用的热力学系统的扩展概述，请参见[Pok20]），并且最大熵原理可以用来描述非平衡环境中的稳定系统（参见[End17]了解这种模型的显式构造和相关讨论，[ME15，ME17，HZE17]了解粗粒度非平衡的合理性平衡稳态动力学，或本文中的定理 6.2）。因此，具有非平衡稳态的受控动力学的“有效平衡”被用来证明关注最大熵的简单情况是合理的；这是相对于最大口径而言的，最大口径是对非平稳、非平衡、路径依赖系统的更合适的概括。这样的概括留待未来的工作。我们可以在第 6.3 节中讨论一些非平衡系统的特定流动特性，但重点关注在类平衡情况下 FEP 中的当前结果和态度，在这些情况下我们可以忽略潜在的流动。如果参与第 2.1 节中描述的模式匹配行为的 q(η | µ) 的足够统计量 μ 是固定的，则 FEP 规定的密度是静态密度，没有目标导向的动作分量。这排除了对有意进化的系统的描述，如上所述。现在可以将行动引入为非平稳性 这些统计数据中的时间索引变化源自匹配的外部状态的变化。这是迭代最大熵过程的特征，描述了稳态可能突然改变的系统，而不是高度受控的过程。请注意，这种非平稳性似乎包括自适应系统和惰性系统，当系统改变（分别经历变化）其形式时，这两种系统的具体证据都会改变。这意味着我们在 FEP 下将系统类别划分为四个子类，其中两个是静⽌的（没有经历有效的能量流），另外两个是自适应的（具有活动状态），其中没有这样的子类Example 2.2. We provide examples of the sorts of systems contained in each subset here.我们在此提供每个子集中包含的系统类型的示例。(1) 单个时间点的石头是一个静⽌的、惰性的过程。(3) 多个时间点上的石头是一个非平稳、惰性的过程。稳态和非稳态自适应性（示例 2.2.2 和 2.2.4）之间的区别在于表征类系统状态的吸引子是否漂移：系统是否改变其环境以维持固定、稳定的状态制度，或者，它会根据环境改变其统计数据吗？相反，惰性平稳性和自适应平稳性（示例 2.2.1 和 2.2.2）之间的区别在于系统是否抵抗平衡驱动。我们还引入了非固定且惰性的系统。我们可以通过询问系统中的任何变化是否源于系统，或者它们是否都是环境变化来对比示例 2.2.3 和 2.2.4。这些是 FEP 只适用于空洞的系统 耗散系统因为无法帮助自己而改变 但仍然可以用 FEP 的语言进行讨论，因为在某些时间尺度上它们看起来像示例 2.2 .1.两者之间的差异可以被描述为一种亚稳定性，或者说面对环境扰动时的稳定与此同时，我们采取的立场是，FEP（此处所写的或可能重写的）在尽可能广泛的意义上谈到了系统性，涵盖了从一个时间点到另一个时间点都处于平衡状态和不平衡状态的事物。 。我们重点关注像示例 2.2.1 这样的系统，并在可能的情况下推广到像示例 2.2.2 这样的系统。如前所述，这样做的目的是建议更通用的系统（例如例 2.2.4 中的系统）具有哪些数学上易于理解的特征。由于像示例 2.2.2 这样的系统（其他示例包括图灵模式、反应扩散系统和分化细胞的形态发生等系统）可以被视为执行推理 [KFGL20，FGL21]，在 [Lev22 中称为“非常规基质中的认知” ]，这是一种为栩栩如生的系统提供现成见解的方法。此外，正如我们将在第 3 节中讨论的那样，即使是像人类这样的生命系统，对于系统的构成也有一定的静态界限。这应该允许我们使用这里定义的形式主义来塑造栩栩如生的事物的模型，尽管是粗略的模型，可能没有太多信息。2.3. Dualities in categories and in inference. 范畴和推论中的二元性。正如范畴论中所发现的，伴随性是存在一对伴随的映射。也就是说，一个与另一个是对偶的。对偶化保留了对象的关键内在属性，但颠倒了对象之间关系的方向。因此，双地图是完全相反的：每张地图都是共享硬币的两面之一。由附加物编码的关系在数学中至关重要，特别是通过普遍性质的应用，并且大多数非平凡的数学结构都源于这种对偶性 [Law69, Lan98, Awo06].“9”注释：9 Indeed, the stated slogan of [Lan98] is “adjoint functors arise everywhere.” Mac Lane also makes the claim that “all concepts are Kan extensions,” which come in left and right dual pairs. 本着这种精神，在自由能原理 系统和嵌入该系统的环境之间存在对称性，称为马尔可夫毯上的“同步” [FCS+22]。这在环境倾向于对代理进行建模以及代理对其环境进行建模的方式中很明显，这是一种利基构建[CRV+18]。此外，FEP 通过定义内部状态和外部状态的同时演化自然地引入了所谓的“双信息几何”[PDCF20]。这使我们能够在智能体和环境之间的耦合的背景下智能地谈论智能体，或者更一般地说，智能体和环境作为通过耦合相关的系统（参见[RFH20，第 4.2 节]）。这种相互作用的双向性的重要表述（通常关注相关量的流动）对于开放系统的其他严格讨论至关重要 [Ros58a, HY10, HY11, Sie18, Pok20, VBM22]，特别是那些扎根的系统范畴理论 [Ros58b、Fon16、BFP16、BM20、Cou20、CGHR21、Smi21、BGMS21、 BCG+21]，表明它应该在理解 FEP 中发挥关键作用。事实上，制定具有双向信息流的系统需要两个相互作用的智能体之间的显式附加 一对协变和逆变态射[BHZ19] 进一步表明我们应该从 FEP 内部探索这种对称性作为智能体的二元化进入环境。总之，马尔可夫毯编码了一种附加（在状态之间跟踪哪个）这一事实表明，马尔可夫毯上的给定（向外或向内）动态最终是其他一些伴随动态的对偶，描述面向相反的方向。本文的内容在很大程度上关注的是这种双重视角对自组织问题的看法，以及它作为技术和概念工具可能具有的价值。FEP 的工作原理不是关注系统本身，而是关注环境与系统之间的耦合，从系统的角度描述环境力量的样子。“10”注释：10It would be appropriate to note here that a Markov blanket is not strictly a separation of the system from its environment, despite what appearances might have us think. Rather, it is a coupling between two distinct subsets of an entire locale of states, with one being a cohesive whole that we call the system. This distinction is critical to the philosophical effectiveness of the FEP, in that it does not falsely presuppose that open embedded systems make themselves into closed systems; this is not even possible in principle,and in fact, the FEP leverages this non-closure to define a mechanical theory predicated on the coupling.See also Theorem 4.6.FEP 有一种自然的控制理论解释作为一种陈述系统的动力学可以描述为对系统周围环境扰动的响应（这在整个文献中都有体现，但可以说在 [MTSB20] 中得到了最好的例证，详细说明了控制和时间扩展 FEP 之间的相似性类型推断），系统的动态库更类似于一组用于应对可变环境的工具，而不是系统的定义功能或表型特征。这是这个框架的结果，有利于预测或反应环境状态的观点，系统的动力学可以被理解为最小化自由能。换句话说，FEP 是规定复杂系统动力学应该是什么样子的原则，因为维持远离平衡的稳态需要逆着某个梯度的主动流动。在这个框架下，系统简单地通过表示给定环境中存在的东西来体现甚至承载环境状态的生成模型。从这个意义上说，嵌入式动态系统通常就像推理代理：原则上，我们可以“读出”由系统状态编码的关于环境的信念，从而存储在系统内部状态中的语义内容。系统（参见 [VBM22] 的示例）。这是相同对称性的另一个方面：作为位于代理周围环境中的外部观察者，我们可以构建代理行为方式的模型，该模型与代理所携带的关于环境行为方式的模型是对偶的。二元化通过询问主体作为与其周围环境不同的有凝聚力的状态区域意味着什么，将主体引入为从宇宙的角度存在的实体。这个想法在第 3 节中正式引入，作为系统的一组约束，使得强制系统理想的约束与对其环境具有理想解释的系统相关。相当于 2.2 节中描述的最大熵原理，这一举动使我们能够谈论受约束的自熵而不是信念的自由能。从这个意义上说，对偶只不过是一种将 FEP 与熵泛函联系起来的技术工具，但它提供了一种关于 FEP 的有吸引力的替代观点。更详细地阐明这个伴随对的公式，我们有以下内容：为 q(η; µ) 取一组可能的参数值，相当于定义条件分布 q(η | µ)。形式上，这个意外是模型 q(η | µ) 的证据界限。预期内部状态最小化（1）规定非平衡系统必须创建并攀登正概率梯度，从而通过假设模型与特定外部环境中存在的情况一致来保持自组织。这是 FEP 型系统通过内部状态体现的密度 p(η | µ, b)，其中这些状态通过马尔可夫毯上的图来模拟关于外部状态的一些信念；它对应于在给定系统的情况下估计可能的外部状态，这就是系统在面对不断变化的环境时保持系统性的方式。变分自由能的最小化正是利用这张图来使具体信念模型成为对环境的真实描述。然而，这并没有说明什么是不证自明的，并且可以（尽管天真地）被解释为相反的：我们更直接地将系统理解为模拟其环境的事物，而不是收集有关自身证据的事物；事实证明，在 FEP 的变分情况下，后者是前者的结果，这一点是不言而喻的。此外，立即有人建议 p(η | µ, b) 的贝叶斯反演是更规范的观点。从某种意义上说，我们正在秘密地询问一个系统可能是什么样子，或者在对该系统的定义质量的相互理解下被允许是什么样子，以环境是什么样子为条件 这就是 p(μ | ηb ），我们将毯子状态吸收为内部状态。从某种角度来看，这才是自组织的真正定义，因为我们在给定上述状态的外部扰动的情况下直接估计状态的概率密度。最初，这似乎颠覆了整个故事。现在，我们对系统的动态特性感兴趣，因为我们对系统所表达的内容感兴趣，而我们不再对系统编码的生成模型感兴趣。我们改变了观点，直接关注从环境力量的角度来看系统是什么样子的。然而，在这两种情况下，最小化自由能的趋势是理解系统性的一种手段，无论是通过我们自己的模型还是系统的模型。事实上，自由能最小化在两种“叙述”中都是可见的，这是 FEP 的一个关键特征。我们的直觉显然是错误的：这种新的解释与原来的解释并没有那么根本不同，即使它的数学公式有理由改变。为了确定这种双重表述（关注从它们所在的浴的角度来看内部状态是什么样子）应该是什么样子，我们可以利用马尔可夫毯子的对称性。外部状态对内部状态的影响以及内部状态对外部状态的响应之间的关联，是一种非常字面意义上的 在马尔可夫毯子上的贝叶斯反转的意义上 系统与环境之间的二元性。本文采用正式确立的路线，即最大化内部状态上的约束熵往往会最小化自由能，因此将概率密度局部化在最佳状态附近意味着内部状态自由能的最小化状态。我们能够在很大程度上依靠二元性来证明这一点，其基础将在下一节中建立。3. Constraints as specifications of system-like states这里包含专门讨论约束在不证自明中发挥的特殊作用的部分，抢占了使许多结果成为可能的技术步骤：从自由能到自熵，这要求我们根据约束来制定问题。约束最容易理解为对某些内部状态的偏好，也许反映了问题的自然伴随结构。我们主要感兴趣的是自我性的证据是什么，或者系统的实际定义是什么，系统可以被理解为现有的满足。对于一个系统来说，成为一个系统意味着它服从自己的“系统性” 虽然最初是无稽之谈，但这意味着存在少量具有特征的类似系统的状态，这些状态被高概率地占据，使得无论它是什么类型的系统，现在仍然是这样。这就是我们使用组织和自组织等术语所指的系统的存在意味着它仍然处于一个赋予它所拥有的属性的国家政权中。这就是我们所说的“本体论潜力”，定义了一组具有关键属性的状态。通过陷入本体论势，系统被组织成占据类系统的状态。反过来，这与以下事实密切相关：对意外环境状态的观察可能会导致向不良内部状态的转变，从而损害系统的系统性。在自适应系统中，不证自明的需要通过对嵌入系统的环境进行建模，然后对这些变化做出响应来强制执行这种区别，从而长期持续下去。即使在适应性情况下，这也包含了更琐碎的特殊情况，即系统专门存在于它们所处的环境中。这当然是一个同义反复，它本身包括简单的平衡结构情况，其中系统呈现出通过不受抑制的能量流对其环境进行统计。正如例 2.1 所示，一块石头不是自明的，但它确实是证据，因为它存在一个“模型”，捕捉了外部状态对其自身状态的自由附带性。如果它被砸成碎片，它将开始证明一组全新的状态（我们再次向读者指出定理 4.4 以形式化这一点）。系统性定义的本质显然是对作为事物存在的意义施加的一组约束。对于人类来说，这由包括健康系统动态在内的稳态设定点组成，例如体内的能量、液体和废物的量。它们塑造了事物的动态，并在遵守它们时强化系统性 饥饿时进食，受伤时⽌血，废物堆积时排出体外。因此，约束可以被解读为偏好，因为约束较低的状态对于系统来说是“良好”的状态。给定系统罩的一些概念（即受到约束的关键变量），我们可以将约束视为为系统引入吸引子，因为它们定义了系统可以从中采样或占据并且仍然如此的状态区域系统（在关于它是什么类型的系统的一些基本概念下）。系统的约束是本体论潜力，定义了我们如何对系统进行建模。至关重要的是，也没有必要将事物的全部本质写下来；我们只需要定义一组独立于关键外部状态变量的关键内部状态变量。其中包括[And21]中所谓的“存在变量”，它们通过某种矛盾表现出不证自明的 这些是如果不保持在动态范围内，系统肯定会耗散的变量，或者换句话说，为了定义系统，必须服从某个范围的任何变量。对这些数量的限制构成了潜力，在一个适合自组织的体制中维持它们的价值就是动态平衡。正如最大熵中所见，对系统可访问哪些状态的约束强制执行概率密度，考虑到这些状态的相对概率。因此，系统采样的任何状态都可以理解为以该系统的约束所决定的概率发生 定义上，系统不会采样非系统类状态，但在前面提到的分配范围内可能存在一定的灵活性。因此，最大化熵为我们提供了一条途径来声称内部状态模拟外部
约束的观点要求对 FEP 进行某种重新解释，它抛弃了计算上更有用的马尔可夫毯子，调用了对给定系统的某种柏拉图式表示，然后声称我们可以理解系统的系统性根据系统性的熵最大化。这变得很明显，因为我们从系统是什么开始，并询问它是如何做到这一点的 或者在适应性情况下不言而喻，我们从系统想要成为什么开始，并询问它如何到达那里。换句话说，我们的观点与最近的 FEP 更加通货紧缩的观点是一致的，因为我们预先假设系统应该是什么，然后描述它如何实现系统性 [RFH20, And21]。备注 3.1。有趣的是，许多这样的约束将是方差约束，或者是 x 的二次函数 J ，从某种意义上说，在受控系统的定义下，过高或过低的状态应该受到同等的惩罚。长时间占据这些处于某种设定点之外的状态肯定会违反系统生物学中的负反馈原则[Wie48]。在这种情况下，得到的最大熵概率分布将是高斯形状，并且围绕类系统状态的“峰值”的想法是字面意思。这为观察提供了具体的控制系统解释，即增加 p(x) 的方差并采样更令人惊讶的状态是系统系统性的分散。 [Kie20] 中还详细讨论了自由能最小化作为系统恒等式定义的物理作用。FEP 文献中使用的马尔可夫毯子已经做了很多工作（详细评论请参见[RVB+21] ）。强调约束的观点似乎可以避免其中一些问题，但代价是对一般计算不太有用。从定理 4.2 中可以明显看出，马尔可夫毯最多起到辅助作用，约束意味着系统状态和环境状态之间的边界，而不参考两者的统计结构。事实上，这是我们方法的一个优点：考虑到任何作为事物持续存在的东西都空洞地落入 FEP 之下，因此马尔可夫毯子应该是同样重要的。请注意，在下文中，我们的意思是在技术意义上明确定义的属性，它独立于某些选择。Proposition 3.1. 固定嵌入式系统没有明确定义的最大真子类，其属性是每个此类系统都配备了马尔可夫毯。证明。我们假设每个嵌入式系统要么有马尔可夫毯子，要么没有，并假设存在一个具有固定内部状态的通用事物，它允许那些不条件独立于外部状态的状态的表示。换句话说，我们假设存在一个特殊的覆盖系统子类，它既不为空也不等于整个固定嵌入式系统集。现在，对于这个通用的事情，选择将统计上固定的内部状态划分为总状态。通过以潜在覆盖状态的形式包含足够的信息来预测独立于外部状态的内部状态，可以为该系统构建马尔可夫覆盖。这一主张是自相矛盾的。因此，对于任何内部状态的集合（即使是一块石头），我们可以在这些状态上构造一个马尔可夫毯子。这个命题是更普遍事实的一个特例，即任何系统都可以通过在足够多的隐藏变量上调节状态而成为马尔可夫系统。这可能是一个或多个解释变量；不管怎样，条件独立性在某种程度上是任意的，并且可以为任意系统构造某种覆盖层。 “11”注释：11Despite appearing to be an esoteric statement, it is actually fairly straightforward: all non-Markovian dynamics admit a representation as a hidden Markov model, and once we include hidden variables as state information, the system is made conditionally independent of some other quantity. A good example is that internal states are independent of external states when conditioned on the variable of control. Since we assume control equates to the presence of a Markov blanket, stationarity implies a Markov blanket.现在，请注意我们如何开始这一推理：声明在某些表征感兴趣系统的浴中存在不同的内部状态意味着自动导致某种方式的条件独立的耦合。因此，限制系统保持在某种允许这些状态凝聚和持续的内部状态制度中，相当于要求内部状态和外部状态之间存在马尔可夫毯。“12”注释：12Note how this proposition does not tell us how to find the Markov blanket for any system, nor if it is meaningful from the point of view of physical calculations—Proposition 3.1 is merely an existence proof, as opposed to an algorithm. A choice of what counts as a useful condition for the Markov blanket is the element of well-definiteness given in the statement, in that more restrictive ideas of a blanket can be introduced that carry stricter conceptual content.必须再次指出，这恢复了 FEP 作为处理每个“事物”的基本方法的有效性，因为事实上任何类型的不同内部状态都应该足以满足某种边界。作为进一步的评论，请注意（2）没有首选的长度或时间尺度 ‑ 由于作用是无标度的，因此该理论适用于大多数任何系统的动力学。马尔可夫毯结构本身是无标度的，正如[FFZ+21]中使用重正化类型方法所描述的那样；从两方面来说，任何系统肯定都可以被限制为类系统。另一方面，它保留了这样一个事实：FEP 并没有那么通用而毫无用处。虽然这些琐碎的马尔可夫毯子存在，但它们没有什么有趣的。惰性系统，如石头的晶体结构，不受控制（参见示例 2.2.3），因此并不真正具有马尔可夫毯。命题 3.1 是一种让我们能够谈论 FEP 的简化版本的花招；实际上，FEP 的核心远没有那么简单，它仅适用于复杂性类似于示例 2.2.2 或 2.2.4 的非常特殊的系统。因此，马尔可夫毯比命题 3.1 让人相信的更加特殊。这种结构的一个有趣的案例研究，特别是约束的概括概括了毯子的事实，是火焰。考虑一下[RVB+21]中提出的关键问题之一： “流浪毯”。这是一个不断发展的系统定义，特别是状态波动太快而无法维持重正化类型关系的系统，从而产生定义系统的统计独立性。马尔可夫毯，无法容纳马尔可夫毯。经常使用的例子是火焰，它从波动的等离子物质转化为碳气体的速度太快，无法形成覆盖层。然而，在讨论马尔可夫毯为什么失效的过程中，我们只是勾勒出了什么是火焰，什么不是火焰。进化系统更普遍地在动态约
束的概念中拥有正式的归属，因为内部状态可以由动态系统在一定观察规模上用一些显着的状态变量来定义或近似，无论变化有多快。例如，我们可以将火焰的基本火焰特性建模为维持在被燃烧物质的燃点以上的温度、材料周围的非零氧通量以及某些特定化学反应的发生与燃烧有关，没有其中任何一项就没有火焰。这些是火焰的存在变量。假设火焰被扑灭；我们已经将火焰移至非类火焰状态，这可以被视为证据失败。火焰不具有适应性的事实被火焰捕获，这一事实不是不证自明的，而只是通过存在而显而易见。上述区别的一个关键是，我们不需要考虑证据性和不言而喻之间的区别：从环境的角度来看，它们看起来是一样的。在这两种情况下，我们指的是一个连贯的事物集合，它们共同定义了一个特定的系统。在没有环境扰动的情况下，这些概念是一致的。关于主体内部状态的这种心理框架将会有很多内容，因为这种约束系统性的观点构成了本文整个结构的基础。这里不讨论动态约束，但根据所提出的框架，并且推测地解决了与具有变化毯子的流动系统中的非遍历性相关的问题。约束和遍历性之间的关系参见定理 4.5，约束遍历密度和吸引子之间的关系参见定理 6.1，它们共同表明动态约束将产生严格的漂移吸引子概念。伴随观点 系统可以将动态约束应用于其环境模型 已经在之前的文献中描述过[Yos11]，并且可能与预期的自由能结构[PF19、PDCF20、MTB21]有关。因此，这是真正的非均衡建模的一个有前途的未来方向。4. Optimisation as self-evidencing
本节的内容首先建立了受特定约束的最大熵原理如何等同于自由能原理，因为它导致自组织系统的不证自明（或有组织系统的证明）和导出系统可能模型的信息几何。根据对系统可能状态的约束，可以最好地理解这些理论之间的等价性，从而激发了第 2.3 节和第 3 节中描述的对偶化。我们继续利用这种新结构，使用最大熵来讨论一些形式数学：第 4.1 节和第 4.2 节中的自组织。在 4.3 节中，我们将镜头缩小，讨论在基于主体的哲学背景下最大化熵意味着什么。回想一下，最大熵概率密度是其约束的表示（参见第 2.2 节）。我们提出以下主张：主张 1. FEP 的正确解释是，非平衡动力系统是数据生成过程，其数据是系统在给定系统限制的情况下的最大似然模型。这种可能性是不言而喻的，而最大化可能性也是不言而喻的。因此，FEP 型系统最大化约束自熵。这种主张通过非平衡动力学的方式导致了复杂性的各种特征，纯粹是由于表示和响应约束的结果。它可以被解读为关于嵌套性的陈述 任何存在的东西，存在于某个环境中，并且是该环境的一个缩影，因为它反映了该环境中存在的事物。因此，我们可以将系统建模为环境中的一个物体，该物体被限制不能加入该环境。主张 1 的动机是这样的观察：除了熵在概率和物理学中的重要作用之外，熵的最大化也是机器学习的基础。以玻尔兹曼机![]()
和基于能量的学习形式![]()
![]()
为特征，推理的物理描述特别适合熵描述。本文的“元逻辑”目标还在于证明只要特定约束下的最大熵为真，FEP 就是正确的，同时揭开它的神秘面纱并为其奠定坚实的基础。
对权利要求1进行阐述，我们得到我们需要的结构，如下。回想一下，最小化自由能意味着存在状态吸引子 占据其中包含的任何状态的概率很高的区域。说这个概率密度的色散很低，因此它的熵也很低，这最终是误导性的：实际上，我们在一定的色散约束下最大化熵，导致占据该区域状态的概率很高。此外，最小化自由能并不会明确地构造吸引子，而是返回参数化关于环境的最佳信念的内部状态。由于这些原因，我们转向信念上的约束熵，然后是约束自熵，这种转变分两步进行：首先，我们将自由能的最小化等同于特定熵泛函的最大化，然后我们使用列出的附加项在第 2.3 节中改变我们的观点。这将使我们能够将 FEP 的不证自明的方面与状态上的隐式吸引子联系起来，并且允许我们调用熵泛函的结果来理解 FEP。我们用qμ(η) 表示条件密度 q(η | µ)。首先，观察最大化 (1) 中的第一项会最小化整体表达式。这促使我们在 qμ(η)能够很好地表征其周围环境的约束下，选择S[qμ(η)] 最大的qμ(η)。根据（2）的逻辑，我们有一个最大熵问题。由于最大化该表达式相当于最小化其否定，因此我们得到了预期的结果。应该指出的是，我们可以通过勒让德变换构建这种关系，但这很大程度上是不必要的。应当对命题 4.1 的一个方向做出具体陈述：命题4.1的一个结果是,最小化所写的特定自由能必然意味着内部状态模拟外部状态.同样,这个独特的约束足以让最大熵密度描述由FEP在特定自由能背景下建模的系统,因为它意味着q下外部状态的预期意外为零。 推论 4.1![]()
有效地总结了两者,这是 FEP 的核心.在 [Sei12] 中,这个约束是非平衡系统的有效势，第 6.3 节对此进行了更多探讨。推论 4.1 中的假设是一个特殊的特殊情况，其中系统与其环境完美和谐。这个推论的结果是，只有获得 (1) 的相同零最小值，并且令人惊讶的是，才能恢复严格相等。在 [Fri19] 中，指出这个约束在严格意义上并不总是可满足的，因为 p(η, µ, b | m) 并不总是已知.“13”注释：13From now on we will neglect to write the model m, taking its existence as implicit everywhere in virtue of the system being defined.此外，细心的读者会注意到我们前面的讨论（特别是定义1）定义了具有不同支持的密度的相对熵函数，其形式上只不过是一种启发式的。观察 (1) 因式分解为这意味着，事实上，当界限消失时，自由能是令人惊讶的。 这一观察结果就是为什么 FEP 采取通过变化地最小化自由能来限制意外的观点，而不是推论 4.1 本身所假设的。 除了自由能和惊奇之间的联系更加明显之外，（4）在状态 η 上是明确定义的，因为当我们将参数值作为条件事件时，supp(q) ⊆supp(p)。因此，出于技术和概念方面的原因，我们假设p(η, µ, b | m)，其中近似值由内部状态参数控制。我们将理想情况下的上述泛函称为特定自由能。 有关区别的更多信息，请参阅 [MSB21] 的第四节和第六节。引理 4.1。如果内部状态模拟外部状态，则自由能会最小化。证明。假设 b 是 µ 和 η 之间的马尔可夫毯子，使得 p(η | µ, b) = p(η | b),“14”注释：14This is given in [DCFHP21].并令 ![]()
（对于 η 也是如此）。如上所述，我们还假设内部状态通过映射到给定 b 值的 p(η) 的充分统计量来参数化外部状态，使得 p(η | b) 由![]()
建模![]()
这对于所有的人来说已经足够了显示的结果 ‑ 观察到，如果选择 σ(μ) 来匹配 p(η | b) 的参数，从而匹配 p(η | µ, b)，则 (4) 的 KL 散度项同样为零。我们还证明了以下有关内部状态的重要结果，详细阐述了引理 2.1 并完成了引理 4.1。通过证明 μb是变分自由能的最小值，并且限制了意外值，我们可以继续证明 [Fri19] 中给出的近似贝叶斯推理引理。Lemma 4.2. 将预期的内部状态作为理想自由能最小化状态产量
这实际上是从 (4) 得出的。然后从博戈柳博夫不等式得出预期结果。引理 4.1 和 4.2 建议选择内部状态，使得 q(η | µ) 对 p(η | µ, b) 建模，使 µ 成为智能体‑环境循环的控制参数（给定映射 σ(μb) = ηb ）。作者之前在 [Sak22b] 中讨论了变分逼近的数学理论，其中证明了 Bogoliubov 不等式在平均场理论中的作用。上述不等式通常是严格的我们不会观察到恒等性，除非意外值为零，在这种情况下![]()
，或者 q 是最优的，在这种情况下我们有约简前面提到过。重要的是，引理 4.2 指出 为了了解内部状态的原因并限制这些状态的意外，进行变分推理就足够了。这是 [Fri19] 中的一个关键结果，以类似的方式显示。我们现在证明在约束熵的背景下存在等价的陈述：备注 4.1。如果毯子仅由传感器组成，则外部状态平均不包含新信息，这相当于qμ(η) 解释外部状态。此外，这种最佳采样相当于保留在适当位置的马尔可夫毯子，凭借这些解释下的自组织；这在 J(η) 中显而易见也直接相当于总体状态的平均惊奇的界限，因此，意味着一些平均结构完整性。我们现在可以证明 [Fri19] 的近似贝叶斯推理引理。定理 4.1（近似贝叶斯推理）。当以总状态为条件时，不证自明系统的内部状态平均通过变分自由能的最小化对外部状态执行近似贝叶斯推理。证明。这是从引理 4.1 和 4.2 得出的，因为内部状态最小化自由能，以将外部状态的平均意外降低到某个下限。根据命题 4.2，这在形式上等价于最大化熵，因此是对任何给定外部状态的概率最优分配的贝叶斯推理。正如推论 4.1 所示，最优的概率是对状态的最优信念。引理 4.1 和命题 4.2 对于这个结果尤其重要。我们还隐含地使用了这样一个事实，即最大化熵在形式上是针对作为统一先验的无约束参考密度的贝叶斯推理（例如，参见杰弗里调节）。我们用它来表明 FEP 规定的模式匹配是针对某些约束对状态的最佳概率分配的最大熵推断。现在，我们将本文的第一个主要贡献（在本例中）提供给 FEP。先前的结果表明，识别密度 q(η | µ) 是最大熵概率密度，并且所有有关 q(η | µ) 的相关 FEP 理论陈述都是合理的，并且具有以下语言的陈述：最大熵。最初很清楚，我们可以在概念层面上从最大熵导出自由能原理，因为自由能原理旨在产生一个定义系统的吸引子，并声称该系统不证自明地居住在该区域状态空间 [Fri12，RBF18]。事实上，信念上的自由能和信念上的熵之间的二元性有点微不足道，由（在命题 4.1 中）否定和补偿最大化组成。此外，自由能可以从信念更新的约束中推导出来，这一点在之前的文献[GB20]中已经讨论过，并且自由能和熵很容易通过凸分析联系起来。然而，自组织从自熵的角度提出了这个问题，并试图确定这样的吸引子实际上来自哪里。这种观点在 (1) 中并没有立即显现出来，因为它询问内部状态的行为，而在 FEP 中，内部状态的行为来自对嵌入系统的环境状态的分析。即使在（4）中，内部状态的意外也只是外部状态模型形成的偶然现象。我们想要的是有效地将整个建构二元化 不要问从系统的角度来看外部国家是什么样子，而是从环境的角度来看系统是什么样子。因此，我们利用之前定义的二元性：我们维护状态模型的结构，但它成为内部状态的模型，取决于外部状态，决定在给定系统和环境的动态情况下可能出现的内部状态。实际上，为了将系统本身视为更规范，我们询问识别密度 q(μ | η) 的贝叶斯反转。我们可以如下勾画出这种等价性的证明：假设存在一个最大熵概率密度 q(μ)，该密度被限制在类系统状态周围，或者是适合根据系统的某种概念进行组织的状态。这可以是保持结晶状态的石头，或者是保持稳态状态的人。毯子状态的存在，作为意外的代表，意味着每个外部状态和内部状态都与毯子状态相关联，这样外部状态导致毯子状态，毯子状态随时与可能的内部状态 q(μ | η 配对) ）。从那里开始，极有可能的内部状态与低意外覆盖状态的配对相当于(^ηb)，它对 FEP 进行建模。从概念上讲，这遵循同义反复：如果状态 µ 满足![]()
，它就会对外部状态的密度进行建模，这意味着它是一种使组织成为可能的状态，因此是类系统的。如果一个状态是类似系统的，那么它就从状态上的类似系统的密度中汲取能量。从这个论证中很容易得出另一个暗示方向，因为最大限度地减少内部状态变化的外部原因的意外可以维持类系统状态的轨迹。 明确地，我们有以下技术引理（对 [DCFHP21] 中发现的结果的详细说明；请参阅那里的相关证明和说明材料）和定理：
回想一下，存在同步映射 σ，将给定毯子状态的预期内部状态转换为该毯子状态的相应预期内部状态。 我们现在证明同步图的一些性质； 我们按照 2.3 节同步范畴结构的描述，使用范畴论语言来进行此操作。它接受并返回与 σ 相同的数量。 应用张量-hom 附加，该关系等价于两个映射的组合，因此，σ 等于所示的因式分解，证明了主张的一部分。 现在，限制对其图像集的注入会产生双射，并且两个双射的组合又是双射。 由于这种因式分解是可能的，显然 σ 是内射的，如果并且仅当 η 和 µ 都存在时。实际上，引理 4.3 允许我们声称 σ 将每个总状态分配给预期内部状态和预期外部状态之间的映射。 由于![]()
，这两个集合是相同的。 值得注意的是，由于 σ 的组成结构，它并不是明确的毯态函数。 仅在内部（即，在映射序列内）与预期内部状态匹配的总括状态才会更改为给定总括状态的预期外部状态。为了使上述陈述清楚，我们可以将引理4.3中的附加物扩展为
然而，这掩盖了 σ 的组成结构，使其对我们没有什么用处。 张量积下相反输入的函数的共享结构是编织的反映。 事实上，通过检查编织关系，然后重新应用张量-hom 附加并降低![]()
的值，可以直接证明 σ 的这些定义彼此暗示。σ 的非平凡结构可以被视为由 σ 编码的高度结构化关系的征兆，即通过将相同的总状态分配给内部状态来将外部状态分配给内部状态。
如果不满足上述引理的相当合理的假设，例如，如果 µ 作为随机变量不能被 Bochner 可积，或者 σ 不是连续的，我们仍然可以很容易地构造一个边际同步函数 ![]()
。引理 4.4 只是一个理想的情况，其中我们现有的 σ 为我们工作。建立同样多的值是证明定理 4.2 的一个重要技术步骤，该定理证明在马尔可夫毯子下执行近似贝叶斯推理的系统可以最大化约束自熵，与权利要求 1 一致。我们首先证明固定毯子的给定陈述状态，然后边际证明它，使得每个 μb从某个类似系统 q(μ) 中采样；调用 σ 对于系统性概念来说是必要的。对于给定的总括事件![]()
。 现在期望的结果是指数分布的结果，其均值作为其充分统计量，即这承认与证明的第一部分相同的论点，因为更多一般事实是，完全条件化和边缘化保留了身份。比定理 4.2 稍弱的说法是，惊喜存在上限，在这种情况下，给定约束下的最大熵密度不一定是系统的最佳描述；对任何给定状态的总约束可能大于或小于所需的约束。定理 4.2 的另一种证明构造了一个按规律收敛于 q(μ | η) 的采样过程；为了了解原因并解构上述定理的技术部分，我们可以重新审视石头的例子：例 4.1。 为了模拟海滩上的石头，我们可能会选择模拟环境温度变化如何通过特定的毯状状态影响内部状态。 白天，当毯子处于接收太阳光线的状态时，石头内部某个点的预期温度由与进入该材料的热流相对应的函数给出，给定其边界上的阳光强度 。 相反，在晚上，毯子状态不再是“接收阳光”的状态，因此，在考虑到周围环境的凉爽度的情况下，石头在某一点的内部温度是由热量从石头中扩散出来的——比如说 ，陆风与石头接触的温度和速度。 在这两种情况下，石头都不会进入类似非石头的状态。 在这两种情况下，石头（通过构造）平均占据该毯状状态的预期状态。 现在，假设白天的热量变得如此强烈，以至于石头融化了。 在给定毯子状态的情况下，石头仍然会达到预期的内部状态，这是证据的同义反复 - 但是，预期内部状态不再像石头一样的事实是毯子被传递到另一组不同状态的结果 ，而不是最初的一组像石头一样的毯子状态。 也就是说，突然之间，一揽子状态令人惊讶。 在这种情况下，我们现在的石头模型很差。 显然，这是因为它不再像石头一样，而且，因为我们无法满足 b 的条件![]()
; 事实上，b（这里与 µ 结合）的惊喜要大得多。 这反映了这样一个事实：我们旧的马尔可夫毯子已经不复存在，并且已经转向新的国家政权。 相应地，这些状态并不令人惊讶的新模型是可能的，但需要重新校准总体状态的概率。当我们在 6.2 节中讨论石子的吸引子状态时，我们给出了另一个有用的例子（例 6.1）。这些结果澄清了权利要求 1 中直观上不明显的陈述 最小化自由能而不是信念最大化约束自熵。这对于将 FEP 与自组织联系起来至关重要。事实上，我们通过关注惊喜来做到这一点，而不是重新对结构进行二元化，这完全是没有洞察力的。 FEP 也关注其变分案例，从内部状态的惊人见解中汲取灵感，对自组织进行评论，这是很恰当的。与此同时，这些结果可以非正式地表述为：对于一个最佳类系统的系统，外部干预 以及他们的观察 不会令人惊讶。如果是的话，那么这就会导致不良状态发生变化，从而使系统无法保持组织性，或者在适应性情况下，必须采取行动重新组织。如果不是，则预期状态意味着系统从 σ 下的最大熵 p(μ | η) 中提取“16”。注释：16Accordingly, note how Theorem 4.2—as well as its dual on qµ(η)—clearly both fail if σ is not injective.This is an elementary property of functions which are left-cancellative, which we require by taking σ −1 ; it has also been noted in [PDCF20, DCFHP21, AMTB22].因此，最大熵观点既可以从自由能原理的解释和定义中得出。在理论上，现在可以——无需借助外部对系统的系统性质的概念化——将一组足够的约束总结为使内部状态不令人惊讶的约束集，根据上述识别。这使我们回到了第3节和[And21]中讨论的存在变量的想法。备注 4.2。重要的是，我们可以通过状态与预期均值的距离来限制 (5) 和任何其他结果，如备注 3.1 中所示。这将引入真实密度 p 的拉普拉斯近似，在向 σ 引入额外的协方差信息后，该近似出现在 [DCFHP21] 中。有关非平衡稳态的更多信息，请参见定理 6.2。这种额外的约束对于平衡通常很重要，因为它包含有关情况的物理信息 ‑ 这可以帮助阐明 FEP 在建模特定系统中的作用，这与其数学特征大体不同。同样，我们稍后会详细讨论这一点，特别是在 6.3 节中。我们通过讨论另一个想法来结束第 4 节的开头。在下面的推论中，我们引用了 [Pin99] 的结果，即多项式的非多项式函数可以任意好地逼近任何连续标量函数（参见定理 3.1）。Corollary 4.2. 在 FEP 理论约束下，最大熵可以将任何过程近似到任意精度。上述推论通过表明我们的 FEP 类型系统模型能够以任意小的误差计算系统状态的概率密度，从而回顾了神经网络的架构。在从形式思想转化为物理思想的过程中，有一点很重要 它意味着在某些情况下，只有当我们拥有有关系统的任意详细信息时，约束观点才是精确的。因此，实践中约束的易处理性在很大程度上取决于这样的系统的复杂程度。
4.1. Geometry and analysis几何和分析。这就完成了本文的第一组结果。确定 FEP 等效于最大熵原理（将贝叶斯力学置于概率论和随机动力系统理论的语言中）后，我们现在将讨论可用的伴随几何和解析理论。
从某种意义上说，只有拉格朗日力学的梯度流和统计力学的信息几何之间存在更深入的联系，为贝叶斯力学建立几何和泛函微积分，FEP 才能发挥作用。以下材料依赖于随机动力系统中的信息几何与经典动力系统中的辛几何之间的一些明显但基本上未经研究的联系。我们将根据需要建立理论，但将统计物理辛几何的完整描述留给未来的工作。
以下定理是第 4 节这一部分中的第一个重要结果。由于势函数和约束函数在塑造过程动态过程中的共同作用，该陈述直观上是显而易见的。在维纳过程的简单情况下，我们通过泛函和偏微分方程的分析得到了一组有用的形式结果。我们将特别利用巴克里和埃默里、马科维奇和维拉尼最初的结果。出于技术原因，这些结果中的许多结果使用正熵的最小化而不是香农熵的最大化；显然，这些是等价的。事实上，我们用这个观察来证明命题 4.1 和本节前面的其他结果。本着这种精神，所有这些陈述在附加后都成立，以描述外部状态的最大熵模型。由于这种对称性，我们通常不需要指定感兴趣的变量；因此，为了遵循参考文献 [MV00] 和 [Led11]，我们将切换到熵Theorem 4.3. 在维纳过程的平衡情况下，最大熵问题的约束是基础采样过程动力学的势函数。实际上，我们已经证明了使熵最大化的扩散过程约束赋予的潜力。 直观上这是相当明显的，因为势函数改变了熵梯度的形状。我们通过论证熵泛函分析的相关思想来继续这组分析结果。 首先，我们证明了修正的对数 Sobolev 不等式。有关实际对数 Sobolev 不等式的回顾，请参阅 [Led11]。Lemma 4.5.对于从吉布斯型测量中采样的过程，其密度动力学的经典动力学作用从上方限制了其密度的正熵。证明。设 Gibbs 型测度为概率密度 p = Z exp{－V }（对于某个在 p 的支持下为正的潜在 V）和分数常数 Z。换句话说，约束下的最大熵概率密度函数 V 。由于根据物理论证，系统的动能始终为正，因此动能（正量的积分）也始终为正；相反，过程的香农熵通常为正，因此正熵为负。这激励了安萨兹Corollary 4.3.如果扩散过程将其经典动能作用最小化，那么它就会从上方限制其自由能。证明。令![]()
。由于经典动力学作用的速度是二次方，因此这是引理 4.5 中上限的绝对最小值。 因此，强制固定概率密度从上面限制了正熵，这是负熵的下限； 根据定理 4.2，这为自由能设定了上限。 特别是，评估吉布斯型测度的![]()
会产生![]()
，这是对最大熵问题的约束。 这证明了特定自由能引理的一个方向：FEP 型系统是最小作用系统。 结果让人回想起引理 2.2——FEP 提供的事物模型对于任何“事物”都是有效的，只要将事物定义为具有一些关键不变特征的对象。 我们认为这种普遍性既是福也是祸。 FEP 是一个功能强大的建模框架，但（如此处所写）对于所建模的任何特定系统没有什么特别要说的。 另请参见第 4.3 节中的注释。
使用一些与熵泛函相关的众所周知的恒等式，所有这些恒等式都在 Markowich 和 Villani 的开创性论文 [MV00] 中被指出或证明，我们还可以证明在上述等价条件下最大化熵会产生信息几何。至关重要的是，以下命题 很少提及该统计流形上的样本路径或动态，只是证明它渐近存在。
Proposition 4.3.自由能泛函的驻点是 Fisher 信息的最小值。请注意，Fisher 信息相当于![]()
，由对数的性质计算得出。这为我们提供了实际 log-Sobolev 不等式的等效公式 [Led11]。 因此，通过建立最小作用和自由能之间的等价性，这也证明了特定自由能引理的另一个方向的弱表述。我们可以给出一些进一步的几何结果。 p 流的信息几何方面是 FEP 和熵最大化的重要属性，特别是当我们讨论表征非平稳系统的迭代推理时。 在最大化熵的过程中，我们（可能很少）数量的类系统状态以高概率占据。 一个理想的系统本身对于表征该系统的一组约束而言是理想的。 这意味着，如果一个系统无法自明，它可能看起来遵守一组不同的约束。 该对应关系使我们能够证明另一个定理：
Theorem 4.4. 在约束 ![]()
发生变化后确定最优![]()
会产生信息几何。证明。假设 KL 散度可以对称，例如，通过采用其二阶泰勒展开式，并且 p(μ; J) 和 p(μ; J ) 具有相同的支持。我们证明，通过改变一组约束创建的随机通道会产生一个概率密度空间，从而构造一个包含距离为DKL(pJ , pJ)的点pJ的模空间 P。假设系统已经针对 J 进行了优化，使其生成模型为 p(μ; J)。在 J → J 下，我们可以结合这两个动作并定义一个不变测度，使得这是相对熵，在最大化其负数时，最小化当前 ![]()
和目标![]()
之间的 KL 散度。该定理的结论是，自适应不证自明是“事物”空间中的一种运动，其中系统必须最小化由一组 J 参数化的密度与由 J 参数化的预期密度之间的距离。这是通过针对目标约束集重新最大化熵来完成的。Corollary 4.4根据一组约束不能自明的会导致一组新的约束，这些约束规定了所得结构的最优性。这种观点将文献中通常称为马尔可夫毯子“传承”的论点形式化。请参阅示例 2.1，了解它如何描述系统可能的动态中的相变。在人类中，这是在偏离 J 规定的动态调节设定点太远之后，从类生命状态到惰性结构的转变。这样的结构仍然是有组织的，因此仍然根据一些新的集合来证明。约束条件 J 。在这一点上，我们暂停并推迟任何进一步的几何想法，同时我们在第 5 节和第 6 节中进一步绕道量子场论的几何和物理学。稍后我们将在第 6 节中再次讨论 FEP。在此之前，我们采取有机会通过随机变量分析解决一些测度理论问题，以及关于这些结果的哲学观点。4.2. Technical remarks on random dynamics.根据这些结果，[Fri19] 中出现的一些明显的技术问题很容易修复，因为最大熵与形式概率论和随机函数分析有很强的联系；此外，我们可以开始对我们感兴趣的类系统状态的吸引子给出明确的描述。在这种情况下的一个关键问题是 FEP 中的遍历性假设。在下面的结果中，我们假设状态空间有一个开集![]()
的 σ‑代数“17”，注释：17To avoid any confusion, we point out that this has nothing to do with the synchronisation map of Sections 2.1 and 4, and is so named as a convention within probability theory最好是 X 承认的 Borel 集，将状态收集为可观察事件。此外，我们假设![]()
是一个完整的测度空间或扩展到一。自始至终，x 都是任意状态变量。我们从以下推论开始：Corollary 4.5. 为了使特定的自由能最小化，目标密度 p(x) 必须是固定的。证明。观察到最大熵拉格朗日没有速度坐标，因此假设在 S[p] 的任何水平集上 ![]()
。此外，对于固定约束，约束环境密度必然是固定的。这肯定了引理 2.2 中给出的自由能最小化系统和稳态系统的等价性，阐明了固定约束在定义系统性中的作用。将 T 作为引起随机动力系统流动的移位图 [Arn98]，定义 4.2 直观地表明“系统肯定会访问每一个有意义的状态”——也就是说，几乎肯定会观察到类系统状态。 基于此，我们引入了局部遍历性的概念，如下所述。 局部遍历性的想法并非完全空洞，因为概率测度为零的状态并非不可能——因此，它们包含在状态空间中——但系统占据这些状态并没有有意义的意义，这当然是（ 如果它们不是类系统，则同义反复）为真。采用贝叶斯概率解释，我们的系统模型不相信非类系统状态。 此外，一个可能但测度为零的事件应该被其他可能事件包围，但我们要求围绕任何此类事件的整个开放集测度为零，这是一个稍强的主张。
由于 σ 代数在补集和交集下是封闭的，因此可以为在状态子集上遍历的系统构建局部遍历测度。
Definition 4.3.局部遍历系统是在状态空间子集上拥有不变概率测度的系统，使得系统占据不同的开子集几乎可以肯定的是。我们将地图`称为套索。 它在以下命题中的直观作用是围绕类系统状态收紧绳索； 它将允许我们明确地构建局部遍历测度。Theorem 4.5.当且仅当系统访问所有类似系统的状态时，它是局部遍历的，系统才会最小化其自由能。证明。利用（2）中状态约束的凸对偶性，我们加强对类系统状态 A 的子集的约束，直到非类系统状态包含![]()
下的测度零子集![]()
。假设 A 几乎肯定会发生——每个类系统状态最终都会被访问。 根据引理 4.6，P(A) 是![]()
下的遍历目标分布，并且根据定义 4.3，它是 A 上的局部遍历测度。 由定理 4.2 ，P(A)的存在相当于自由能最小化。 根据定理 4.4，逻辑逆也成立。请注意，由于我们假设我们在完整的测度空间中工作，因此 ![]()
的每个子集也是一组测度零。我们从来没有证明可测量集的子集是可测量的：这通常显然是错误的。备注 4.3。就像遍历性本身一样，这可以启发性地表述为“鉴于系统是一个系统，类系统状态是确定的，非类系统状态是没有意义的”，这正是不言而喻的想法。在高度确定的情况下，固定点 c 上的平凡遍历测度通常表示为δc。这样的测度可以在 C 收缩到该点的情况下构建，如引理 4.6 所示。我们注意到，定理 4.5 中的局部遍历性更适合被认为是系统性的定义，因为在 X 的重新拓扑下，对非类系统状态强制执行相同的零测量在技术上是有效的，但不是非常有启发性，如果不能按照引理 4.6 的要求加强约束，就会失败。因此，局部遍历性等同于明确定义的系统性。局部遍历性的定义为类系统状态的遍历性与当前的 FEP 文献 [RBF18] 一致。回顾一下这些结果：推论 4.5 的一个结果是，我们要求任何此类过程的统计数据在一次最大化之后在时间上是等效的，以便 (x) 保持有效 这在直观上是合理的，但它提出了对将 FEP 推广到非平稳环境的导出 p 的挑战。包含某些具有学习或记忆能力的复杂系统迫使我们采用临时方法，例如迭代推理，或使用有效平衡来实现平稳性 （参见备注 2.2）；然而，所寻求的普遍化将来应该是可能的。由于定理 4.5 中的套索论证，鉴于我们接受平稳性，非遍历性似乎不是问题。 FEP 核心的同义反复 存在的事物就存在 已经作为引理 2.2 的结果进行了讨论。与该引理的结果一致，最大熵没有做出详细的平衡假设 详细的平衡必须被指定为最大熵状态的结构约束[CDC15]，因此先验没有提到详细平衡的要求或取消。然而，请注意，在备注 6.1 中，我们将讨论对任何此类系统进行建模确实需要局部详细平衡。这些结果的一个有趣的物理结果是，不能说自适应系统违反了热力学第二定律![]()
.备注 4.4（热力学第二定律）。 命题 4.1 的一个结果反映在关于外部状态的信念上的密度熵的最大化，即自适应系统不会回避热力学第二定律； 相反，他们利用它，将熵的增加转移到他们的环境中，并相应地改变他们的信念。 就像不证自明的本质是受约束的熵观点，但在自由能观点中仍然很明显一样，这种无序性是附加物基于约束的一面上存在的自由能的标志，因为这就是创建上述本体论的原因。 将系统组织成自身的潜力。 因此，自适应系统是“吃掉”秩序并产生熵的引擎，扰乱环境以保持自身的组织性。 确实有人认为，复杂系统实际上由于其作为耗散载体的作用而在统计上受到青睐[Uel20，UDCCF21]。 这种耗散的一个例子是可食用物质转化为热量，例如人类新陈代谢中发生的情况。 双重地，定理 4.2 指出，有组织的系统确实在类系统状态上最大化自熵，在系统性范围内接受第二定律。 缺乏对类系统状态构成的确定对于自适应系统的灵活性和巡回特性很重要，更一般地说，它模拟了代理波动和探索的不可阻挡的趋势。
事实上，基于这种二元性，更强有力的说法是可能的。我们已经确定，智能体将其信念的熵增加到准确信念的某些限制范围内。非主体性地，一个物体的统计结构反映了其周围环境不断增加的熵，在这个环境必须仍然允许该物体存在的约束下（命题4.2）。附加词的一个有趣的特征是，每一方通常都有任一观点的签名 例如，引理 4.2 和定理 4.2 中都出现的对惊奇的约束。命题 4.2 的准确性约束是信念方面最大自熵观点的签名 ‑ 回想一下，我们已经确定，我们可以通过最大化我们自己对系统的信念的熵来建模对象，假设该系统可以被理解为在系统的某些限制下最大化其熵。在这两种观点中，我们都认为信念对应于熵的物理最大化，因为状态的相信概率和实际概率是分散的。例如，在备注4.4中，我们认为这种信念包括或反映了环境紊乱的过程。与上述结果分开，已经表明耦合子系统之间的相关性可以（并且应该）被纳入最大熵的结构约束，从而导致次可加性[PGLD13a]。这引发了以下结果，再次阐述了约束最大熵在自组织中的作用：Theorem 4.6.根据定理 4.2 中定义的附加条件，主体‑环境环路的联合熵受主体‑环境环路的总熵的限制。当两个系统在马尔可夫毯存在的约束下最大化其熵时，联合主体‑环境系统的总熵应严格受每个单独系统的熵总和的限制，这样引入的约束意味着耦合会降低联合熵。由于主体‑环境环路的熵是由环路的各个组件控制的，并且引入意味着耦合会降低联合熵的约束，因此环路的完整性精确地取决于其组件的完整性。从某种意义上来说，这个陈述是这样的陈述：通过双向最大化约束熵 或者同样地，通过利用主体与环境之间的耦合 自组织是可能的。这样做，它揭示了马尔可夫毯公式作为系统与其环境之间的对称统计关系的重要性。同样，约束熵最大化的联合熵减少可以被视为自组织的一个特征，因为如果系统加入其环境，则不存在循环。 [TL04] 中给出了关于联合熵在控制中的作用的有趣结果，这似乎与定理 4.6 一致。最后，关于这种耦合的主题，请注意，毯子状态在定理 4.2 的陈述和最终证明中起着辅助作用。 马尔可夫毯子本身包含在确定哪些状态是类系统的、哪些状态不是类系统的约束之下。这还有其他有用的结果，例如将 FEP 推广到具有漂移马尔可夫毯的系统的时变约束的想法，这在第 3 节中进行了讨论。虽然相同，但不同的观点揭示了毯子的本质——同样的想法，系统动力学的定义约束有效地包含了马尔可夫毯子，在[RKLM22]中以稍微不同的方式出现。4.3. On the idea of ‘as if ’ inference. 正如已经指出的，在整个文献（参见[And21]对这个想法的说明）以及本文中，当系统看起来“好像”它们正在针对自己的系统进行推理时，自由能原理具有最普遍的意义‑性。本文含蓄地提出了这样的想法：这是对 FEP 的最好总结：对系统存在非平衡稳态的充分条件的说明。这就是它在随机动力系统理论中的普遍性的来源，而它对复杂自组织系统的描述最终是更多数学愿望的结果。然而，这带来了一个挑战：FEP 不一定与 FEP 假定的物理内容结合在一起。第 3 节提出了类似的观点 我们将系统的存在建模为对系统性的推理的表现，最终是对模型解释的滥用，这是由同义反复所实现的，即特定系统通过现有的证据证明是系统类的。作为系统。这在 [RFH20] 中被称为“以有机体为中心的虚构主义”，强调它是对主体行为方式的一种解释（或者实际上是一种模型），因为系统可以被理解为与环境双向耦合。这与严格意义上的解释或机制的框架形成鲜明对比。我们还回顾了第 2.3 节中的重要评论，其中我们提到使用最大熵作为建模工具，能够从外部向内理解智能体。这是最大化约束熵和最小化自由熵的观点之间的关键区别能量出现。代理是否真正执行推理并不重要：我们正在通过将其可能状态的概率密度置于半任意但知情的系统性定义下，来执行有关代理行为的推理。假设出于某种哲学原因，我们想说系统并不是有意最大化其熵，而是按照最大熵原理建模。这与之前关于系统的讨论是一致的，这些系统不是不证自明的，而是简单的证据，例如例2.1。最大熵显然可以适应这一点；事实上，这就是杰恩斯在统计物理学中运用最大熵的初衷。然后我们应该问为什么这里的形式主义会推断出具有更大适应性意义的系统，例如示例 2.2.2（或者在适当迭代时甚至是示例 2.2.4）。它仍然是一个模型这一事实是关键。忽略显式构造动作（即源自系统活动状态的动作）与最大化熵作为某些系统的描述的目的是一致的。这不是智能体如何选择行动的强化学习模型，从智能体所处的热浴的角度来看，没有任何策略。也就是说，环境对于智能体的动机结构是不可知的——只是对系统在任何给定时间正在做什么的规范性描述。 这是自由能最小化的伴随。我们废除了代理识别密度匹配的生成模型，放置关于内部状态做什么的密度 q(μ)（不考虑为什么一定要这样做），这通过熵的最大化来匹配一些规定的内部状态。 我们再次强调，缺乏行动不仅仅是这种描述的产物——它完全是这种描述的结果。5. Maximum entropy as the description of a field theory回想一下，我们的动机是开发 FEP 作为场论的基础原理。我们假设 X 上的概率密度有足够建设性的描述根据场论公理，将解释许可为实值标量前量子场论承认与阿贝尔规范场的耦合。 也就是说，p(x) 描述了一个具有概率自由度的场，服从波力学，并且具有规范对称性。直观上，这是相当清楚的：统计微观状态的概率测量本身由经典运动方程决定，确实是统计场论（SFT）的核心部分。 我们采取稍微非常规的方向，并将这个概率密度称为场本身。 为此，我们将检查一些关键属性，但将概率推理的任何更完整的公理场论留给未来的工作。 由于我们使用经典方法来理解福克-普朗克方程，任何形式上的等价都主要用于簿记目的。从数学上讲，对象值场论只是对象状态的赋值到某个基础空间上的每个点。 例如，从最纯粹的数学角度来看，18量子场论（QFT）是一种将量子态或算子空间分配给时空流形的点或时间切片的函数[HK64，Ati88]，同样的情况 经典场[BFR19]。 一般来说，场是向量束的一部分，将输入流形上的每个点映射到该点可能输出的空间[Nak03]。显然，某些状态空间上的概率分布就是这样一个函数。此外，它的演化由对应于特定波动方程的拉格朗日函数给出，并且在维纳过程的假设下，该波动方程可以通过 路径积分表示。 这使我们能够将 p(x) 视为概率自由度上的实值半经典标量场理论（而不是 X 上的度量）。
备注 5.1。 [And21]和[And22]中引入的模型具体化概念作为逻辑谬误，源于将模型的概念内容与模型本身一起转移到新领域。 人们通常必须犹豫是否将等效的数学结构视为扩展一种或另一种物理解释的相同对象。 相反，这使我们能够利用共同的数学模型并不意味着共同的概念内容这一事实，忘记共享模型中除了相关数学结构之外的任何东西。 虽然最初可能不自然，但它却影响了整个物理学：考虑费曼图的虚拟粒子或凝聚态物质的声子，或者热力学和信息熵之间的概念差异。 这里，并不是说任何进行推理的东西都是场论，而是说它看起来像场论，因此可以用同样的方式建模。 相反，由于它不是物理场论，我们不一定期望看到该理论完全一致的物理特征。 因此，模型的这种等价性是结构的识别，而不一定是解释。 该理论的物理解释在任何情况下都会因约束的三重作用而变得复杂：J(x) 同时是 X 上的一个可观测量，其期望为 C、X 中状态可接受性的约束势以及规范的自由选择 另一方面，这些角色是上下文相关的，并且可以经典地理解为状态的任何函数既是可观察的又是潜在的，并且在 X 的边界上添加任意函数因式分解拉格朗日函数的变体。场论的行为通常遵循一些优化原理：像最小作用原理这样的定律映射到系统采取最小累积能量使用轨迹的基本趋势。当我们用场论识别 p(x) 时，我们保留这些数据，因为概率密度最小化了泛函6. Constraints as gauge symmetries这些结果的几何部分是作者 [Sak22a] 先前工作中更一般结果的应用。我们对这些结果进行了简要说明，以激发此处显示的结果，但请有技术头脑的读者参考引用的论文以获取这些主张的证明。我们还简要介绍了规范理论本身。规范理论结果引起状态空间上的流动，描述给定稳态密度下的采样动态。这将使我们能够证明，对于允许基于势的描述的特定类别的非平衡稳态，我们可以使用我们为惰性或平衡情况建立的基于熵的数学。在之前的结果中，我们认真对待本体势的概念，将其视为系统的几何特征。势函数似乎可以塑造状态空间中动力系统的流动，就好像该空间是弯曲的一样。结果表明，状态空间的几何变形和该状态空间的动力学约束之间应该存在对偶性，使得最大熵在两者之间转换。由于规范理论编码了状态空间中的动力学反映状态空间几何形状的方式，因此等价性似乎很自然；事实上，利用经典规范场理论的特征，可以对最大熵原理给出新的解释。6.1. A review of gauge theory为了与引言中的态度保持一致，我们的目标是将最大熵（以及 FEP）定位为规定几何基础如何确定动力学理论的原则。 规范理论是一个特别有先见之明的例子。 在统计流形的迭代推理方面，它已经拥有丰富的几何框架，其中已经与规范理论 [Ama01、STC+16、SF17] 建立了联系。 同样，与规范力的单独联系也出现在 FEP 文献 [RBF18] 中，并且 FEP 中使用的亥姆霍兹分解根源于简单规范理论的几何特征 [Gra77, Sak22a]。 除了这些最初的例子之外，大多数事物——从小到弦，到大到黑洞——特别是凝聚态理论的统计力学LN92]——都具有规范对称性或与规范理论的联系。 推理或基本的认知形式应该不受规范理论的解释范围的限制，这是不可能的，而且肯定不能令人满意。 此外，许多规范对称性出现在一定的范围内。摆脱对理论特征的限制[LN92，HT94，LW05，GT12，Wit18]。 我们应该能够从规范理论中获得一些关于 FEP 的见解，这似乎是适当的。物质场是由作用描述的物理场，如第 5 节所示。规范理论的特点是物质场理论的作用或该作用的变化在一定量下保持不变：该量称为规范[RW02]。规范是与物质场耦合的时空函数，就像势函数与系统动力学耦合一样。规范的选择会产生规范场，类似于规范势的梯度，跟踪规范的选择如何随时空变化。经典规范场的几何公式是通过称为截面的广义函数来实现的，对应于规范和物质场配置的选择。函数导数的相应推广被封装在一个连接中，这为我们提供了截面图像的切向量的概念[Nak03]。由此可见，规范场是主丛中的连接，是产生这种广义函数的空间。我们将约束最大熵原理作为规范场论，p(x)为物质场，J(x)为规范场。这种对称性植根于杰恩斯最初的主张。平淡地说，存在一大类系统，它们都是由最大熵描述的，并且具有可以任意固定以产生特定系统的特殊性的约束，这一事实使得这些约束成为规范对称性。我们将更详细地简要描述这一点，但对于完整的技术结构，我们再次建议读者参考[Sak22a]。S[p] 的规范不变性对于构造至关重要。这很容易通过类似于量子电动力学等规范理论来证明：一个简短的计算表明，规范变换，J(x) 的一种特殊变化，与 J(x) 与 p(x) 的假设耦合以及问题的几何结构，在计算 p(x) 时的某个点进行因式分解。这会产生任意规格选择以及该选择的任意变化，从而使动作在任何规格下保持不变。相反，场方程（此处为概率密度）通常是规范协变的，以特定的规范选择来表示。当 J(x) 变化时与 p(x) 的相互作用由相对于 J(x) 的平行传输给出，这通过协变导数概括了动力系统。规范理论的具体技术，特别是将 J(x) 与与 p(x) 耦合的规范场联系起来，是出于我们对某些东西的渴望，这些东西使我们能够讨论改变一个量如何以明确定义的方式改变另一个量。方式。这是由协变导数给出的，其解决方案称为并行传输。[Sak22a] 中定理 1 的内容是，该动力系统（平行传输）的解是给定规范选择下熵泛函的驻点。这很容易通过规范场![]()
中场 p(x) 的平行传输方程看出，即这是熵的驻点。虽然最初很微不足道，但它通过平行传输的本质揭示了我们问题的微妙规范理论结构。Definition 6.1.规范理论由物质场状态E的空间、规范P的选择空间和基础空间X（通常是时空流形，如R3,1 ）组成。空间E和P是纤维束，是基空间中每个点可能状态的空间的副本。束P与E相关联，使得P中点的选择构成了E中点的表达，并且该选择的变化重新构成了 E 中的点。束中点的选择称为节，是一种内部函数将束点分配给基点；因此，一节定义了场论。物质场依赖于框架这一事实是规范协方差的来源。P整理的空间是一个对称群，它不变地作用于理论的作用，再现不变性。在束中存在一种联系，它告诉我们一个部分如何在基础上变化，从而导致束中导数的概念化。规范场是与基座连接的拉回，再现了规范选择对时空费米子粒子演化的影响。平行传输是规范理论中运动的一种特殊情况，它精确地遵循规范场规定的路径，即当粒子以平行方式移动时，没有作用在粒子上的力使它们偏离平行路径。我们还可以通过远离这些平行路径弯曲来实现承受规范力的运动。这种将动力学分裂为与基础平行的轨迹（称为水平路径）和向上或向下弯曲的轨迹（如带电粒子）的轨迹（垂直路径）是规范理论的特征 [Ble81]。在 FEP 中，它具有新的含义，我们将在下面看到。使用规范理论和分裂的最大熵公式，我们可以明确地构造我们在早期结果中寻求的状态上的吸引子，并对流动或类生命系统中的亥姆霍兹分解进行评论。6.2. Sample paths in stationary stochastic processes.到目前为⽌，我们关注的是一个相对简单的理论：有效均衡系统的理论。特别是，我们还没有涵盖 p(x) 下状态演化所承认的动态样本路径，它们本身并不是静⽌的；事实上，在 4.3 节中调用最大熵作为系统模型时，我们故意忽略了采样动态。鉴于平行运输的内容，我们已经无法避免这一点，但我们仍然将自己局限于这个简单的情况。我们首先在自组织的随机系统背景下重新审视 [Sak22a] 的结果。 使用估计结果作为规范力，推理可以理解为对过程的状态进行加权，通过将推理限制在最可能的状态集，推理收敛到某些数据上的平稳分布。 我们通过正式陈述系统具有像吸引子这样的系统的想法来开始论证。 然后，我们能够证明由约束引起的规范理论在强约束下强制样本路径收敛到该吸引子，并且这通过纯粹的几何考虑构建了状态上的最大熵概率分布。 在高斯情况下，一个有吸引力的直观图片是漏斗图，引导路径到低约束区域，使得该区域是一个吸引子，在该区域中以高概率观察到状态。 在这种解释下，我们回到约束是潜在函数的想法，指导过程的动态。 事实上，我们假设 p(x) 是一个高斯分布，作为基础密度的拉普拉斯近似。我们还讨论了在这个规范势下随机动力学的分裂行为，隐含地参考了 [Sak22a] 的命题 4。
“几何”的一般、正式定义是一个可以追溯到 Klein 的 Erlangen 计划的主题，并且在最近的 Lurie 的派生代数几何 [Lur09] 以及 Freed 和 Hopkins 的Hn 结构 [FH21] 等工作中占有重要地位。具有某种附加结构的拓扑空间，尤其是源自群或群动作的拓扑空间。例如，欧几里得几何是配备有欧几里得度量及其等距的n维实空间。黎曼几何是配备黎曼结构的光滑流形。之前，我们介绍了约束几何的概念，作为概率协方差和最大熵约束的几何公式。最大熵约束的固定会产生影响该空间中的流的潜在函数，反映了流可以访问哪些状态以及不能访问哪些状态的额外结构。为此，我们提供以下半正式定义：约束几何是一种拓扑设置，其中某些空间中的动力学与该空间中的约束函数相互作用，确定任何此类流的形状。约束几何有一个自然的解释，作为某些李群 G 的明显 G 协变场论中规范固定过程的结果，因此承认规范理论方面的表述。因此，约束几何是具有给定连接选择的感兴趣空间上的主要丛结构，以及给出可能流的某些系综属性的关联丛。请注意我们在没有进一步阐述的情况下所做的事情：声称约束告诉我们可以访问哪些状态和不能访问哪些状态，而不是可以访问哪些状态以及以什么概率访问。直观上，我们可以将密度下采样的想法与采样状态的频率联系起来，就像对我们系统的占用时间进行直方图绘制一样。在非常强的约束下，这意味着流将非常短暂地占据约束状态（如果有的话），这让我们回到了定理 4.5 中构造的局部遍历测度的思想。事实上，我们可以使用遍历动力系统理论的各个方面来形式化这一点。Definition 6.3.遍历概率测度意味着在状态空间 A 的某个区域中花费的时间比例等于 P(A)，即定义 6.3 导致了遍历测度的时间和空间平均值的著名等价性，这最初是由 Birkhoff 提出的。 在这里，它允许我们声称一个充分的类系统系统，它访问在某些约束下定义的所有类系统状态，几乎肯定会在该区域 A 中被观察到。相应地，在极限 T → ∞ 时，当类系统事件发生时 变得典型后，我们可以将受限系统的局部遍历测度解释为系统在 A 之外花费的时间可以忽略不计的要求。
Theorem 6.1.令开集 A 为状态空间的某个区域。以下陈述是正确的，并且根据定理 4.5，由约束几何产生：(1) 近似贝叶斯推理源自作用于局部误差的规范力最优控制参数方向的 godic系统。(2) 局部遍历系统以概率![]()
占据A中的任意状态,其中相当于以并行方式探索A。证明。为了证明陈述 6.1.1，我们只需要注意，在高斯概率密度上，在规范势下，存在朝向预期内部状态的垂直流。根据定理4.3，该势是对最大熵概率密度的约束，这近似于定理4.2的贝叶斯推理。因此，最大化 p(x) 以找到 A 中的预期内部状态是垂直流，我们将其识别为规范力下带电粒子的流。为了证明陈述 6.1.2，我们回顾[Sak22a]的结果；也就是说，在规范势下，存在等概率态的水平流，它探索等概率态的轨迹。所有此类水平集的集合是exp{－J(A)}。现在我们证明陈述6.1.3。首先，对于一个局部遍历系统，其类系统状态的占据测度为零，螺线管流在 A 的补集上退化，使得状态被限制在 A 内。通过庞加莱递归，A 中逃脱 A 的点集如果 P(A) > 0，则测度为零，使得状态返回到该限制区域；由于 A 是开集，因此这最终是系统的捕获区域，因此也是吸引子。现在我们可以证明所有三个陈述都隐含在约束几何中。陈述 6.1.1 和 6.1.2 显然等价于规范势的存在，没有规范势，推理约束下的流分裂就不存在。根据定理 4.5，我们对庞加莱递归的使用需要约束几何，并且相当于对![]()
的强约束。因此，当且仅当我们最大化约束几何中的熵时，语句 6.1.3 才成立。这证明了主要主张。 我们花点时间来更全面地评论定理 6.1 中的结果 该结果中构造的高概率 A 的区域是我们最初在 2.1 节中寻找的类系统吸引子。直观的想法是，FEP 认为我们的系统模型应该是系统的演化返回到类系统状态区域，因为它是这样一个系统。系统从这些状态采样的事实由 A 上的稳态密度来描述，这里它已成为捕获区域 A 的遍历密度。当存在约束 J(x) 使得![]()
的补集时，如果测量值为零，我们可以严格地说系统没有在该区域花费任何时间，否则，我们必须强制执行半任意方差截⽌，定义什么算作该系统的实例以及什么正在离开类似系统的状态。例 6.1。考虑一个耗散动力系统及其给定的覆盖状态，例如给定天气条件下的石头。一个忠实的石头模型必须约束自身，使其在给定总体状态的情况下直接进入预期的内部状态；不太规范地，我们可以预期石头被定义为惰性系统，从定义上来说，没有能力改变其状态。因此，石头的本体论潜力（以总体状态为条件）受到预期内部状态的高度限制。在这种情况下，流动的螺线管分量退化，而我们提到的压力通过驱动石头存在于μb 处来强化石头的实体性。这里给定覆盖状态的吸引子是![]()
，条件类系统密度是µb 上的狄拉克测度；完整的类系统 µ A ⊂ X 是所有可能的类石头状态的集合，其个体概率基于我们对石头含义的约束。对石头的系统约束在 A 内可能是恒定的，因为没有要表达的偏好，因此会产生 A 上的统一概率和其他地方的零概率。如果我们比其他状态更频繁地观察某些状态，则可以更新所得的概率密度，这除了系统定义的约束之外，还会对我们的模型施加进一步的精度约束。特别是，这样的限制可能包括在任何石头的熔点下严格限制温度，以及对石头分子排列的内能的限制，强制其结构为硅酸盐矿物。其中一些状态的观察频率会降低，这表明我们应该改变约束的形状，直到我们获得由(8)生成的A上所需的采样关系。这可以基于某些预期内部状态被更频繁地观察到，因为它们的总状态被更频繁地观察到,从而改变了我们在定理 4.2 中边缘化的密度 p(b)。将这些结果表示为并行传输的结果是，强制采样的方式是通过在这种描述性稳态密度下分割动力学：Corollary 6.1. 在选择规范![]()
和感应场方程![]()
的情况下，状态空间上存在螺线管流。证明。 对于规范理论，其中![]()
且微分作用于 Rn 标准基，平行传输方程满足以下对数导数：通常写为![]()
。 此外，在该梯度非零的垂直方向上，语句 6.1.1 成立，在该梯度为零的水平方向上，语句 6.1.2 成立。 由于路径的升力![]()
由![]()
给出，在二次约束下向 X 的回拉给出水平 ψ 的圆形路径，以及垂直 ψ 流向 ˆx 的路径。 这会产生沿 X 方向的意外流动。作为上述推论的补充，请注意左侧的导数![]()
衡量了 p 部分在某一点的评估如何变化；因此，它类似于在被视为超表面的概率密度上移动的粒子。因此，根据定理 6.1，推论 6.1 证明执行近似贝叶斯推理的粒子执行意外梯度下降，如 [Fri19、PDCF20、DCFHP21] 中所建议的。另请参见 [Sak22a] 的示例 1。注意它没有证明什么：这些粒子寻找众数![]()
。 他们只是匹配而已。 此外，请注意，流动的速度（换句话说，等轮廓线行程的参数化）是任意的。 假设 [Fri19, DCFHP21, BDCF+22] 中给出的形式的矩阵算子作用于流量以产生沿着曲线的明确定义的速度，则可以恢复这些结果。 然而，这必须事先指定。 在（9）中重新引入拉格朗日乘子并根据一些要匹配的物理数据选择 λ 的值可能是生成这些矩阵的更原则性方法，但将来应该提供一个可行的示例。如前所述，我们描述的路径相对简单，因为（通过构造）它们收敛到静⽌吸引子。一种正确的路径理论，延伸到移动吸引子，甚至关注路径本身，从而描述自适应的、真正复杂的系统，需要对这些结果进行广泛的概括，但这是一个可以实现的结果。我们现在讨论这些结果在非平衡情况下的应用。提到了与上面介绍的分裂的一些联系。6.3. Regarding non-equilibria.在本节中，我们能够将这些结果应用于非均衡状态。到目前为⽌，我们已经能够证明 FEP 技术与平衡动力学性质之间的关系有相当坚实的基础。我们之前提到过非平衡稳态下缺乏“有效”能量流。显然，由于平稳性在平衡和非平衡稳态中都发挥着重要作用，因此这些系统之间的唯一区别是存在一些潜在的通量。例 6.2。根据例 6.1，当执行近似贝叶斯推理的系统的局部遍历测度为 δ(x － x ) 且所得吸引子为固定点 时，水平流退化并且不存在螺线管分量。因此，作为建模者，我们经常需要做出选择，决定描述一个在其状态空间中具有一定分布的系统是否有意义。因此，潜在的水平流更像是非平衡状态，而不是平衡状态。在极限情况下，在任何形式的耗散下，平衡系统都将达到 x。事实上，如果水平流具有有意义的方向感 如果一个方向上的流比另一个方向上的流更可取，因此，如果向前轨迹比反向轨迹更有可能 那么详细的平衡就会被打破，使之成为一种非平衡稳态。然而，正如我们所提到的，这完全是关于水平流的额外（物理）数据。相应地，最大熵可以在适当的约束下容纳两者。处于稳态的粗粒非平衡系统（其中这些通量相互抵消）意味着非平衡稳态看起来像具有扩散的平衡稳态，并且可以以相同的方式进行建模。忽略某些物理自由度，我们可以使用最大熵来处理非平衡稳态，并且仍然可以获得见解。这与最大熵模型完全一致（参见第 2.3 节和第 4.3 节）。我们的系统特征概率密度模型与采样动态和系统在该密度下采取的行动无关：我们根本不评估如何维持非平衡稳态，只评估是否维持非平衡稳态。因此，可以忽略潜在的采样动力学和物理自由度以获得有效的平衡。这是将我们的简单图片扩展到FEP 不那么琐碎的核心所必需的另一个技巧，但无论如何这是可能的。备注 6.1（有效平衡的限制）。 应该指出的是，实际上，该框架仅在接近平衡时才具有洞察力，其中由于非平衡而导致的非零概率通量实际上可以忽略不计[ZS07，HZE17]。 还要考虑到我们不希望熵出现偏差，而只是假设它在约束允许的范围内最大化。 因此，基础流动所做的功不能是任意的——它必须是有界的——这是近平衡的另一个标志。 另一方面，假设系统已将其能量水平重置为由约束引起的任何水平，则可以有效地为系统设计一个新的平衡[Sei12]，这就是我们作为建模者所做的事情，他们粗粒度地观察了系统维持 静止状态。 应该说明一些进一步的技术条件：假设我们系统的采样动态与熵产生相关并反映与环境热浴的耦合，这至少需要局部详细平衡，纯粹是为了我们的模型有效[Mae21]。 幸运的是，我们通过这些简化的假设损失很少，因为作为生命特征的熵的产生（参见备注 4.4）是即使是复杂的自适应系统的非平衡稳态的标志[JPR19，Uel20]。
在此基础上，我们建议这种结构适用于可以用势来描述的不平衡动态的系统。本节构建了一个例子，以及在该系统上使用最大熵的理由。特别地，我们在下面证明了一个有效的平衡定理，该定理构造了一个像例2.2.2那样用最大熵描述的通用系统，从而证明了一类系统的存在。Proposition 6.1:以稳态作为初始条件的非平衡系统在任何其他稳态下都会使熵最大化。证明。将随机熵函数定义为![]()
这只是某些控制参数 κ(t) 轨迹上的意外结果。在稳定状态下，随机熵可以平均为香农熵，因为任何 p(x(t)) = p(x)。现在假设![]()
。这是香农熵的驻点。命题 6.1 中的随机熵可以相当直接地视为系统应该满足特定的非平衡稳态并保持在那里的约束。在下文中，我们使用不同的约束，假设势捕获了达到平衡密度的驱动力和维持统计不平衡的密度有利于状态所需的最小能量。在此过程中，我们将上述证明扩展到具有控制参数的系统，这对于我们的目的来说是非平衡系统的一个重要观点。Theorem 6.2.势函数下处于稳态的非平衡系统是在约束下最大化熵并最小化变分自由能的系统。证明。我们通过构建此类系统的示例来证明这一点。采取存在非零能量通量的受控系统。假设系统限制自身在平均状态 ![]()
附近波动。此外，假设![]()
。该系统处于非平衡状态。最后，假设 ![]()
既是不动点，又是采样密度的充分统计量，因此它是平稳的。存在一个势函数![]()
，使得平均而言，![]()
。该势测量与 x 函数的偏差，是由驱动和耗散引起的基础能量通量的粗粒度。系统。这些通量增加了熵的产生；因此，系统是一个非平衡稳态，在约束![]()
下最大化熵。通过将自身约束为 ![]()
，该系统等价于进行近似贝叶斯推理的系统（定理4.2）。至少，E 可以被认为是二次形式，因此非平衡系统的拉普拉斯近似代表了距模态的距离。 与 [Sei12] 中提出的形式一致，假设非平衡稳态![]()
从初始非平衡稳态（而不是瞬态）松弛，并允许基于控制参数的势能 κ，一般等价于![]()
。调用定理 4.2，我们可以将其视为最大化约束熵的问题，同时也是最小化自由能的问题。 在[Niv09，Niv10]中，给出了非平衡稳态的类似基于势的描述，以最大化熵的形式表述，而不明确参考基础通量.我们现在提出这个问题是为了对 FEP 中所写的螺线管流量提供一些评论。 上一节的结果与定理 6.2 相结合，证明了对于某一类非平衡系统，存在螺线管流。 这种平稳系统分解的普遍性在[BTB+21]之前已经被严格证明，并且在[DCFHP21, BDCF+22]."19"注释：19It has been known for some time that such a decomposition exists for Stratonovich stochastic differential equations, perhaps first being described in [Gra77]; the papers and results discussed here focus onits applications to the FEP. The author thanks Lancelot Da Costa for suggesting this reference中详细表述。利用规范理论结构在状态空间上引起的动力学分裂，我们能够声明状态上存在螺线管流。 表面![]()
上流的分解通过回拉一式（局部规范场）引起 X（状态空间）上流的等效分解。 正是通过这种方式，我们再现了螺线管和耗散动力学，它们分别探索和驱动到一个固定点； 这适应了[Fri19]中提到的流分解。 密度的扩散被视为基于波动的探索性流，而耗散流是模式匹配流，对应于证据或维持非平衡稳态的控制。 在惰性情况下，这个不动点没什么特别的，只是表示系统的平均状态取决于平均外部状态——这种模式是有证据存在的，但没有特殊内容，因为系统不是自明的。 与其他追求与期望信念相对应的模式的系统相比，我们恢复了某种适应性。此外，通过忽略状态空间上的流形式，我们无法重现专着 [Fri19] 的关键结果，这是关于 FEP 下流分解的重要 [AMTB22] 假设。 我们能够重现的结果由于与平稳性的联系而在平衡和非平衡状态下保持相同，并且与潜在的流动或耦合几乎没有联系； 它们只是源自对 FEP 的自然规范理论解释。 对水平集上的密度变化进行参数化可以得到（9）中的任意速度曲线，但与该密度下发生的采样仍然没有明确的联系。 有趣的是，螺线管流确实存在，但如果没有它，近似贝叶斯推理也是可能的，如定理 4.1 中所示。 从这个角度来看，[Fri19] 中注意到了该流程的存在和解释，事实上该流程并不一定意味着 [AMTB22] 中的 FEP 类型推理可以得到解决。这些结果还有一些进一步的警告。 例如，分解也不是唯一的——水平切线空间的选择可以重新参数化或以不同方式选择。 这与文献一致，因为存在大量等价类的动力学属于相同的非平衡稳态密度，因此任何此类密度的潜力都是非唯一的。 分裂确实存在，但分裂背后的流动是任意的。 也就是说，仅了解非平衡稳态不足以产生独特的流动形式。 事实上，这也与使用 FEP 的建模原理是一致的：我们无法访问有关系统内部状态的精确信息，我们只能在集成统计级别对其所做的事情进行建模。 我们可以说的是，流向该区域（定理 6.1），并且该流在某些系综级别上看起来像是由螺线管和耗散分量组成 - 这些局部矢量场必须流向捕获区域，并且那里 是这些字段的分割。其中一些问题可能会以比简单地最大化熵更动态的形式主义来解决，例如最大化路径熵，根据 Proposition6.1，这已经是对真正逼真系统的有吸引力的概括。
本文用最大熵和规范理论的语言重新阐述了自由能原理的基本思想。 我们已经确定，FEP 的稍微简化版本至少是一个合理的数学原理，其含义是可验证的，并且具有额外的规范理论解释。自始至终，我们都对更传统的概念进行了一些扩展或放松。 也就是说，FEP 应该满足遍历性等属性，但仅限于局部； 最大化熵，但仅限于约束条件下； 适用于非平衡状态，但这只是因为它以无标度方式适用于静止系统。 FEP 依赖于几个这样的结果——位置或方程，它对定义进行了足够的弯曲，使其能够在严格的框架中工作。 这可以被视为 FEP 绘制的领域处于传统数学形式化边缘的一个标志。 相应地，很明显，FEP 在某些基本描述层面上，正如这里所建议的，当然更一般而言，本质上是正确的。 正如一些批评家所暗示的那样，它的失败仅限于数学陈述和技术精度方面的“局部错误”，而不是在概念化和应用方面充满了“全局错误”。 这些反映了理论的整体正确性，但也存在技术上的微妙之处——只要做一些工作，它们就很容易变得平滑。
回顾物理启发数学和模拟物理数学的丰富历史，本文提出的框架为 FEP 构建了具体、正式的基础，其中一些结果对推理和随机动力系统的数学理论具有更普遍的意义 。 将来，这个基础将允许对 FEP 中包含的数学进行更简单、更有效的概括，以同样严格地描述更复杂的系统。
