Journal Club|替代奖赏和直接奖赏在同一神经回路中的耦合频率分离

   我们对他人经历的感受强烈地影响着我们的利他主义和亲社会性。这是因为了解他人的经历会让我们以一种替代性的方式“感同身受”，这也被称之为替代强化。替代强化是观察学习的一种形式，观察者通过观察他人行为的结果来改变自己的行为。如果他人获得奖赏（例如食物、金钱、荣誉等），观察者也能感受到类似的喜悦和满足感，这便是一种间接的奖赏体验，即替代奖赏；与之对应，当观察者自己获得奖赏的时候，则为直接奖赏。

        那么替代奖赏是如何在神经层面发挥作用的呢？已有研究的证据表明，观察他人的奖赏事件会引发与自己受到奖赏类似的神经反应，这预示着替代奖赏与直接奖赏很可能共享着同样的神经基础。但是，尽管他人和自己获得奖赏的神经反应有很高的相似性，两者之间神经响应仍然会因为得到奖赏的对象（他人或自己）不同而产生区别。因此，神经系统为了传递这种共享但又相互分离的体验，相关大脑区域可能会共同响应但以不同的方式相互作用，即在相同的神经回路中传输不同的信息流。

        目前研究证明与替代奖赏相关的脑区有前扣带回皮层（ACC）和基底外侧杏仁核（BLA）两个脑区。其中ACC，尤其是前扣带回皮层脑回区（ACCg）具有从替代奖赏中学习的功能。研究证明ACC受损将导致替代奖赏学习功能受损；而BLA能够在社会背景下对信号进行估值和表征，这与替代奖赏和直接奖赏的相关决策价值息息相关。进一步研究还发现，这两个区域在联想学习和表达对社会伙伴的亲社会偏好时能够协调神经元活动，构成神经回路。然而，目前还不清楚“替代奖赏”是如何参与这一回路的。因此，本文提出核心的研究问题：ACC是否以及如何与BLA协同表征替代奖赏和直接奖赏？本文假设替代奖赏和直接奖赏神经表征可以在ACC与BLA的神经回路上进行分离。

实验采用动物研究，参与者为4只成年猕猴：2只雄性猕猴仅作为“行动者”（Actor），而另外2只成年雌性猕猴仅作为“伙伴”（Partner）。所有“行动者”接受了侵入式电极植入手术，以追踪它们的ACCg和BLA脑区电信号变化。同时在任务期间记录了它们的眼动数据。

在具体的实验中（见图1），“行动者”猴子和“伙伴”猴子成对作为参与者共同完成果汁奖赏分配任务。其中，行动者需要完成自由选择任务和强制选择任务两种不同的分配任务。在自由选择任务中，行动者以目光锁定的方式完成奖赏选择：行动者可以选择将果汁奖赏给他人（即分配给“伙伴”猴子）vs将果汁流入空瓶；或者选择将果汁奖赏给他人和自己（即成对的参与者都获得果汁奖赏）vs将果汁只奖赏给自己。此外，行动者还需要完成另一个强制选择任务，即只能选择当前出现的选项。其中，自由选择试次占总试次75%，强制选择试次占总试次25%。最终，所有行动者一共完成了57场实验，平均每场包含了298 ± 110个试次。

    图1：实验流程图      

“

1. 替代奖赏的行为结果相关性

1.1 分配次数及时间

    如图2（左），实验发现“行动者”猴子在自由选择任务中，更喜欢将果汁分配给他人而不是分配给瓶子（p < 0.0001），更喜欢分配给自己而不是自己和他人都分配果汁奖赏（p < 0.001）。“行动者”猴子完成的分配给自己/双方的平均实验次数（99%）多于分配给其他人/瓶子的实验次数（87%），但是，当奖赏较大时（果汁量多），分配给其他人/瓶子实验的完成率更高。此外，有奖赏时，“行动者”猴子的分配选择反应时间比没有奖赏时更快。

1.2 注视次数

       “行动者”猴子在选择将果汁分配给其他人（即“伙伴”猴子）、自己和双方之后，“行动者”猴子注视“伙伴”猴子的次数多于看瓶子的次数。这种注视次数的差异可能意味着“行动者”猴子意识到了在分配奖赏中相对于自己或同伴的不同奖赏结果。

    而自果汁奖赏开始后的平均470毫秒，“行动者”猴子在选择将果汁分配给“伙伴”猴子后，其看“伙伴”猴子的次数多于选择将果汁分配给瓶子后看“伙伴”猴子的次数；而在奖赏开始后平均770毫秒时，选择分配给双方而不是仅分配给自己后，“行动者”猴子看“伙伴”猴子的次数也更多（图2右）。

“

2. 替代奖赏（而非直接奖赏）会增强ACCg峰电位和BLA场电位之间在gamma频段的耦合

     如图3A和B所示，根据实验的奖赏选项，“替代奖赏”可以通过果汁分配给其他猴子的神经活动减去果汁分配给瓶子的神经活动得到；“直接奖赏”则通过果汁分配给自己的神经活动减去果汁分配给瓶子的神经活动得到。基于此，研究结果发现，在自由选择任务中，ACCg 峰电位和 BLA 场电位（ACCgspike - BLAfield）的耦合在低gamma频率范围（即35-51 Hz）内增加，即在“替代奖赏”主要表现在低gamma频段，同时，在该频段中，“直接奖赏”所对应ACCgspike - BLAfield耦合减少。这种差异导致在几个时间分段中，替代奖赏和直接奖赏之间存在明显的耦合差异。

       而在强制选择任务中（图3C和D），ACCgspike - BLAfield的耦合在接受奖赏时都表现出了明显的抑制，这样的抑制共同存在于直接和替代奖赏过程中。

 图3：

gamma波段两种不同任务下的ACCgspike - BLAfield的耦合

    进一步采用线性判别分析（Linear Discriminant Analysis）对低gamma频段的ACCgspike - BLAfield耦合进行解码，发现在自由选择任务中，该耦合可以在自由选择试次中区分出直接奖赏和替代奖赏的试次，但在强迫选择实验中则不能。这反映了两种奖赏类型之间的耦合差异并不仅仅是由奖赏结果本身的差异造成的，社会决策也发挥着重要的作用（图4E）。

    此外，研究采用主成分分析（PCA）和k-means 分类将单细胞分为任务空间选择性较高与较低两类（任务空间选择性越高表示对任务敏感性越高），并进一步发现对替代奖赏的gamma ACCgspike-BLAfield 耦合主要体现在任务空间选择性较高的 ACCg 细胞中（图4F）。

图4：

基于ACCgspike - BLAfield耦合的解码及细胞响应

    同时，与gamma ACCgspike-BLAfield耦合不同的是，在BLA的峰电位到ACCg场电位中，gamma BLAspike-ACCgfield的耦合在自由选择任务中表现出对替代奖赏和直接奖赏的抑制，其中对于替代奖赏的抑制更大。这种结果表现出与ACCgspike-BLAfield耦合相反的模式。

“

3. 直接奖赏会增强 

ACCg 峰电位和 BLA 场电位之间的

alpha/ beta波段耦合

对于直接奖赏而言，如图5A所示，在自由选择任务中，α/β 频率范围（10-20 Hz）内的 ACCgspike-BLAfield耦合在直接奖赏时有所增加。但相比之下，在强迫选择任务下（图5B），直接奖赏和替代奖赏在时间序列上的分离则并不明显。这种α/β波段的ACCgspike-BLAfield耦合表现出直接奖赏和替代奖赏的不同差异，可进一步用于解码自由选择和强迫选择两种不同的实验任务中的两种奖赏条件（直接or替代；图5C）。同时在奖赏阶段中，任务空间选择性较低的 ACCg 细胞也与两种奖赏之间的α/β波段ACCgspike-BLAfield耦合差异有关（图5D）。

“

5. 社会凝视不会导致替代奖赏和直接奖赏之间的耦合差异

在替代奖赏下的gamma ACCgspike-BLAfield耦合的增加是否只是由奖赏期间的社会凝视引起？为了解决这个问题，本文将相同的ACCgspike-BLAfield耦合与凝视时间进行分析，结果发现凝视时间没有导致替代和直接奖赏条件下脑区耦合之间的差异。

“

6. 奖赏结果与从 ACCg 到 BLA 的强方向性有关

采用格兰杰因果模型，研究对ACCg和BLA神经活动的方向性进行了计算。如图6所示，在α/β和gamma频率范围内，与分配给自己或给瓶子结果相比，分配给他人时，神经活动从 ACCg 到 BLA（ACCg → BLA）的总体方向性更强。同时，整体来看，α/β和gamma两个频率范围中ACCg → BLA方向性比相反方向性（BLA → ACCg）更为显著。由此可以推测这种方向性偏差并非仅限于单一情况。此外，在gamma波段中，将奖赏分配为自我、他人以及瓶子时均显示出ACCg→BLA的偏向，这可能表明与奖赏结果相关的信息始终呈现ACCg→BLA的偏向。