JC｜统一工作记忆和规划的神经计算几何学

    在不断变化的环境中，人脑的认知需要能存储和整合跨时间的信息，以指导未来的行为。在常用的延迟任务范式（delay task paradigms）中，短暂的感觉刺激提供信息，人类必须在几秒钟的助记延迟（mnemonic delay）内保持这些信息。工作记忆（working memory）是一种核心认知功能，负责主动维护和处理与任务相关的信息，以供后续使用。工作记忆必须与其他认知功能相结合，如计划和情境依赖的决策，以指导灵活性的行为。图一显示了近期研究工作记忆的主要功能和潜在的大脑机制。然而，在神经科学领域，人们对大脑如何协调这些过程以服务于目标导向的行为仍然知之甚少。

图1 

Computational roles of working memory, planning, and context-dependent decision-making.

1）工作记忆、计划和情境决策的计算角色

    在工作记忆中，前额叶皮层（prefrontal cortex）的神经元表现出内容选择性活动（content-selective activity）模式。与认知状态相关的内部表征可以通过记录动物和人类在延迟任务（delay task）中的神经活动来揭示。工作记忆中的选择性延迟活动在计算模型中最常被解释和拟合为感官刺激的表征。

    然而，工作记忆的感觉策略受到了观察前额叶延迟活动结果的挑战，这些活动与各种任务（包括行为、预期刺激和规则）之间的相关性更佳。此外，越来越多的文献指出，前额叶皮层中存在大量非线性混合选择性特征，支持情境依赖行为模式（context-dependent behavior pattern）。这些不同的观察结果表明，需要一个更统一的框架来解释工作记忆、计划和情境依赖决策的计算角色。

2）计算模型Computational models

    计算模型已被用于研究认知功能（包括工作记忆和决策）的潜在神经回路。工作记忆功通常用不同的模块环路建模，传统的计算模型假设工作记忆能维持感官表征，但这不能解释前额叶皮层的混合选择性。与研究者设计的其他模型相比，任务训练的递归神经网络（RNN）模型可以执行延迟任务，无需假设结构化电路或工作记忆表征形式。因此，这种方法非常适合研究工作记忆表征支持灵活计算的模型。在此，作者提出了一个理论框架，探讨未来行为如何依赖于即将发生的事件。

RNN通常用于处理时间序列的场景中，它是在一般神经网络的基础上加入了时间维度（可以是真实时间或者一段序列），对序列的每个元素执行相同的任务，输出取决于前序的计算。

左图：隐藏层h的输入同时来自于（U× 输入层）和（V×上一时刻的隐藏层输出）。

右图时间展开后的RNN网络结构，由不同时刻的同一组神经网络构成。

t时刻的隐藏层状态Ht，既受到对应时刻的输入Xt的影响，同时也和上一时刻隐藏层St-1的输出密切相关。隐藏的状态Ht可以看作网络的记忆，它捕获有关所有先前时间步骤中发生的事件的信息

1）实验范式Paradigm

    在许多常用的延迟任务中，感觉刺激、反应、计算需求或规则之间存在相关性，这些相关性可能影响神经活动对特定认知任务变量的可分离归因。因此，作者对实验范式提出了以下四个要求：

1)首先，它应该对信息输入进行计算，这些信息输入之间有一定的延迟；

2) 其次，它应具有频繁出现的精确中间计算状态；

3) 第三，在实验范式中，有些trial在延迟期间能预测出正确的反应，而有些trial则不能；

4) 最后，它不应该与行动、感觉、规则和计算状态信息相关联。

    为了满足这些要求，研究者设计了 CDL 任务，该任务要求被试对两个存在延迟的二进制刺激进行二进制分类。他们将延迟前（pre-delay）刺激和延迟后（post-delay）刺激分别称为线索A（Cue A）和线索B（Cue B）。在每次试验中，被试看到的任务规则，即线索A和线索B是随机不同的。他们设计了10 个任务规则: (N)OR, (N)AND, X(N)OR (Anti-)Memory, (Anti-)Report。例如，在OR规则中，如果任何一个线索等于1，被试的回答应该都是“1”，而在AND规则中，两条线索都等于1，被试的回答才能是“1”。在Memory规则中，被试需要对线索A刺激作出反应，而在Report规则中，被试需要对线索B刺激作出反应。在这两种情况下，“Anti-”信号显示了输出的反转。

图2：实验任务和相关规则的示意

2）偶发表征

Contingency Representations 

    要执行 CDL 任务，在整个延迟过程中，被试必须一直在脑内维持住线索信息。作者提出了在完成 CDL 任务时的一种新的认知策略，称为 "偶发表征"，并将其与传统策略进行了比较。在感觉策略（Sensory Strategy）中，与任务相关的信息在整个延迟过程中保持不变，以便结合规则和线索B一同指导反应；在行动策略（Action Strategy）中，被试可在延迟期间预先计划（preplanned）反应；最后他们提出"偶发表征"（Contingency Representations），它是通过即将到来的线索与反应之间的映射（mapping）来定义的。例如，如果规则为OR，而线索A为“0”，那么延迟期间的偶发状态（contingency state）分别是从线索B为0或1到正确响应为0或1的映射。

    CDL 任务提供了两个可被权变表征利用的重要特征：

第一个是封闭性（Closure），这种情况下，被试只需根据规则和线索A就能确定正确的回答，因此可以在线索B之前的延迟期间预先计划答案。如图C中粉红色实线所示，如果规则是OR，线索A是1，那么无论线索B是什么，正确的反应总是1。

第二个是折叠性（Collapse），是指在多阶段问题中，两个既不共享规则也不共享线索A的试次可以共享一个偶发状态，如图C中蓝色实线所示，在线索A之后，被试对线索B的反应模式变得相同。

在本文中，作者用 [R 0 -R 1 ] 来指代偶发状态，其中R 0和R 1分别是线索B为0和线索B为1时的目标反应。

图D是通过偶发状态进行 CDL 任务的示例映射。实线代表0提示，虚线代表1提示。因此，我们可以说上述所有三个任务（AND，线索A=0/1; OR，线索A=1）具有[0-1]偶发状态。

图3：实验任务条件和表征关系示意图

E图：线性分类器的数量是量化使用条件特征将响应映射到输出的相对复杂性的一种方法。在这里对于感官表征建模时，作者以规则为条件，构建12个条件的分类器超平面来实现作为反应映射的10条规则

F图：权变策略的模型使多个规则通过相同的超平面线性可分。

第一步将规则和线索a非线性地映射到偶发（权变）状态，第二个条件分类器如上所述，将不同的线性分离矩阵应用到偶然性状态，这里以线索b为条件。这样的条件分类器只需要两个分类器超平面来实现作为偶然性表示的响应映射的10条规则。

3）任务训练的 RNN 利用偶发表征

Task-Trained RNNs Utilize Contingency Representations

    作者通过RNN模型来执行全部 CDL 任务。首先，他们训练了一个RNN模型，在隐藏层中使用了200个全连接ReLU神经元的RNN模型来完成CDL任务。在训练中，他们确保RNN模型在所有子任务上都取得了高精度。然后，他们利用后延迟时期的网络状态向量确定了两个偶发编码轴（contingency-coding axes），以最大程度地捕获神经单元之间的状态变化。作者将这个二维子空间称为“偶发子空间”或“权变子空间” （contingency subspace），并通过与随机任务相关子空间进行比较发现，权变子空间的方差更大。

图4：RNN示意图和部分模型结果图

E图探究了扰动分析的平均 CDL 性能（准确性），其中 RNN 状态在线索 B 开始前的时间点被一个给定规范的随机矢量扰动，该随机矢量可以在权变子空间（青色线）或正交任务相关子空间（灰色线）中。扰动幅度，即扰动的常数，是依次增加的。

阴影区域代表重复 RNNs 的 SEMs。

红色虚线代表权变行为。

结果发现RNN 因权变平面内的扰动而遭受更大的性能缺陷，这表明子空间与 CDL 任务的功能相关性。

4）状态空间动力State-space Dynamics

    作者分析了线索B每个偶发事件在RNN偶发子空间中的平均位移，发现它们与该理论示意图密切对应。他们还发现线索B偏移后的状态空间动力学展示了从偶然事件到适当响应状态的非线性巩固轨迹（图H），揭示了虽然响应映射问题可以在 RNN 的偶然事件子空间内定义，但RNN反应状态的生成依赖于高维非线性动力学。

图5：RNN部分模型动态变化结果图

以上三张图片展现的是动态变化过程：

F图是利用权变表征的 CDL 反应选择的理论示意图。实线箭头代表由线索 B=0 引起的轨迹，虚线箭头代表由线索 B=1 引起的轨迹。非线性分离矩阵边界（灰色）划分了状态空间的区域，网络将从这些区域过渡到 0 或 1 的反应状态。

G图揭示了 RNN 模型的平均权变子空间轨迹，从线索 B 的开始到偏移，轨迹被权变和线索 B 划分。x 轴和 y 轴代表权变子空间，而 z 轴是 RNN 模型的输出轴。研究揭示了虽然响应映射问题可以在 RNN 的权变子空间内定义，但响应状态生成在RNN 更依赖于高维非线性动力学。

H图是从三维平均 RNN 状态空间轨迹。x 轴和y轴表示偶发子空间，z轴是示例 RNN 模型的输出轴（即两个输出单元的幅度之差）。

1） 神经活动模型Model Neural Activity

    为了研究RNN与执行工作记忆任务的单神经元活动之间的关系，作者首先描述了单位活动向量的选择性特性，然后，他们使用线性模型来确定由线索A、规则和偶发性（权变）在单位状态下解释的方差百分比。虽然他们发现大多数单元在刺激时程中主要编码线索A，但到晚延迟时，但到了延迟后期，这种模式已转变为偶发性编码。

  图6：RNN部分模型动态变化结果图

    他们采用两种方法研究动态工作记忆活动：首先，对RNN的活动进行平均并用主成分分析 (PCA)找出条件调谐的主导轴，然后测量这些轴之间的角度。其次，他们训练了静态和动态解码器，绘制了分界线变化向量，并计算了解码器的交叉验证精度（见图C,D）。在这两种方法中，RNN网络的表现与之前关于动态记忆的解释一致。

    A图揭示一个示例 RNN 单元，其迹线表示试验中的平均活动，除以提示 A 标识和十个规则中每一个的规则（XOR、XNOR、OR、NOR、AND、NAND、记忆 [MEM]、反记忆 [AMEM] ]、报告[REP]和反报告[REP]）；32% 的单位活动方差是通过是否为 [0,1] 应急试验的二元预测变量来解释的。灰色阴影区域表示线索 A 呈现的时间。绘制从试验开始到延迟的轨迹。

2）偶发子空间可解释异质性神经元调谐Contingency Subspace Explains Heterogenous Neuronal Tuning

    在同一固定网络中，通过改变线索或规则信息与偶发状态之间的相关性，我们可以从偶发事件表示中生成对线索A、规则、或这两个特征集合的调整。即使线索 A、线索B和响应在任务中都独立变化，这些相关性也可能存在，因为它们是由从线索A和规则到偶发事件的非线性映射引起的。

图7：RNN的任务相关样例调参，和理论和结果图

    图A是使用偶发表征的一对示例规则（MEM 和 XOR）的提示和规则调整示意图。任务名称后的0/1，表示该试验中的线索A，并与该规则和线索A的偶发表征对应。（A，左）X标记表示线索A的平均值，(A，右)方形标记表示规则平均值，虚线表示平均提示状态之间的差异。而规则平均值的重叠表明该任务对将显示很少或没有规则调整。

    图B是三个示例规则的线索/规则调整比率。条形图显示了仅分析该规则对时 RNN 中测得的调整。虚线表示相同的线索和规则调整。

    图C表示理论上的偶发性预测线索/规则调谐比与 CDL 训练的完整 RNN 模型在延迟晚期所测得的调谐比相关显著。

3） 人类行为与偶发性策略相匹配

Human Behavior Matches the Contingency Strategy

    为了测试人类是否会将偶发表征作为执行 CDL 任务的策略，他们在CDL任务的五个规则变体中，研究封闭情境任务（Closure）和折叠（Collapse）情境任务对反应时间 (RT) 的影响.

    研究者对17名参与者进行了CDL任务测试，测量了准确率和反应时长（Response Time）。结果显示，RT在不同的试验条件下变化很大，封闭试验的平均RT明显短于开放试验如图B所示）。个体分析发现，只有在 OR 和 AND 中，线索 A 对大多数参与者的 RT 有显著影响（如图C所示）。图E显示了在线性模型排列中，偶发性解释了更多参与者反应时（53%的参与者17人中的9人)。

图8：RNN的任务相关样例调参，和理论和结果图

    封闭式试次与开放式试次之间的 RT 差异意味着，当人们处理来自规则和线索A的信息时，能够灵活地改变试验中的计划。这种条件变异 RT 模式与感觉策略相反，感觉策略的子任务具有相似的复杂性，无论线索A 如何与规则交互，都应该花费相似的时间来完成。

4） 神经数据预测与模型比较

Predictions for Neural Data and Model Comparison

      作者将RNN与其他两个模型进行了比较。

    第一个是纯感觉编码模型，我们称之为输入模型（Inputs Model），神经状态能直接识别在第一个刺激和规则输入期间出现的不同感觉线索；第二个是随机联结网络 (RCN) 模型，它生成规则和线索 A 的高维线性可分离表征，以实现任意分类。

首先，作者计算任务训练的 RNN 和 RCN 模型的 RSMs，然后将这些相似性矩阵与由线索 A、规则和偶发性表征的预期相似性结构进行比较。模型相似度计算为 RNN 模型条件下的平均 late-delay epoch 单元活动与 RCN 模型混合层活动之间的欧氏距离.

     结果表明，在 RCN 模型中，线索A对条件间相似性有最大的预测作用，规则的解释部分较小，并且与偶发性呈微小的负相关；而在 RNN 模型中，偶发性事件解释的方差最大，其次是规则和线索A。

图9：三种模型Inputs,RNN和RCN的对比结果图

    D图中，RCN模型中，线索A的预测能力最强，规则的影响较小，与偶然性的负相关也较小。相比之下，RNN模型更好地用偶然性解释条件间相关性。

    E图中，通过将线性模型拟合到晚期记忆时期每个单元的活动，发现在RCN模型中，大多数单位受线索 A规则影响，少数单位由偶然性解释。而在RNN模型中，偶然性解释方差最大，其次是规则和线索A。

    F图研究了RNN模型、RCN模型和输入模型的后期延迟活动维度。RNN模型的有效维数略高于二维的权变表征模型，但低于RCN和输入模型。

    G图中，RNN隐藏状态在跨多个规则的线性泛化方面保持一致，表现出较好的跨条件泛化能力。

5）测试神经数据中的权变编码

Testing Contingency Coding in Neural Data

    接下来，尽管无法知道表征生成的过程，作者研究了如何在神经数据中统计测试权变编码的存在。作者将随机排列与实际偶发事件映射中的测量进行比较，以测试神经数据集是否能更好地通过偶发事件来解释，而与表征中的一般非线性、特征混合或噪声结构无关。作者用RNN 和 RCN 模型验证了这种方法，发现RNN模型可以更好地解释偶发性（P < 0.001），而RCN 模型则不能。

    他们构造了与实际偶发事件大小相同但条件随机的伪偶发事件，图B和C与图A中的重组伪偶发事件相比，对所解释的偶发事件比例进行重新调整测试。红线代表 RNN (RCN) 模型中单元状态的偶然性，而灰色条代表伪偶然性复制的相同度量。

    图D表示每个RNN模型显示的偶发性解释的平均单位方差至少是其伪偶发性无效分布平均值的两倍。而 RCN 模型则不然。

图10

三种模型（Inputs,RNN和RCN）的对比结果图