Journal Club | 几何模型揭示将经验转变为记忆的行为和神经特征

NO.1

简介 Abstract

    在本次JC中介绍了一项来自Nature Human Behavior的研究，Andrew C. Heusser和他的伙伴开发了一种几何模型，可用于数字化地描述动态记忆中主观的概念性内容。他们将经验和记忆建模为通过单词嵌入空间（word-embedding spaces）的轨迹，其坐标反映了其对应的思考维度，于是，记忆编码可以被建模为在几何学上保留或扭曲原始经验的 "形状"。

    实验中，他们让参与者在接受fMRI扫描的同时观看电视剧《神探夏洛克》，并口头复述内容。实验发现，参与者的记忆捕捉到了高层次的本质（essence），也就是大致剧情，但没有保留情节上低层次的细节。研究者们还发现了对特定轨迹形状敏感的大脑结构网络，主要分布在前颞部系统，包括眶额皮层、外侧前额皮层和纹状体等，负责处理正在进行的经验、情绪、社会认知和奖励；他们确定的第二个网络追踪了被试叙述事件中的特殊概念内容的时间关系，位于后内侧系统，这个网络包括枕叶皮层、纹外皮质、梭状回和楔前叶。

NO.2

引言 Introduction

    记住一件事意味着什么？在传统的情景记忆实验中，记忆通常被视为离散的二元操作。但是事实上记忆不是只有记得和忘记两种二元对立状态，我们的记忆是连续的，而不是离散的。同时，即使大家共同了经历了一件事，人们对同一段记忆的诠释往往是因人而异的。如果让你回忆昨晚和朋友吃饭的情景，你和朋友的描述大概率是不同的，比如你可能会描述你吃了兰州拉面，而你的朋友回忆吃饭时的聊天很愉快。此外，即使你能精确地在脑海中再现这段经历的某些特定成分，但依旧无法判断你究竟多大程度上记住了这段晚饭。因为你可能记住了一段经历最重要的要素，却忘记了/忽略了叙述特定的低层次细节，反之亦然。

    如何才能真正确定一段记忆是否被回忆者修改过？如何区分一段经历的关键要素（overarching essence）和其他低层次的细节（low-level details）？

    每段回忆中的每个特定时刻都倾向于从近期以及更远的时间关联中获得意义。记忆系统利用这些关联来形成预测，帮助指导我们的行为。例如，当我们进入一个房间时，我们对房间内特征的主观感受是随着时间逐渐变化的，有时，这种渐进式的经验形成会被突然的变化所打断（例如走过一扇门）。先前研究表明，这些尖锐的变化（称为事件边界event-boundary）有助于将我们的经验（以及它们的心理表征）区分为不同的事件。

    本项研究试图讨论动态变化的经验如何反映在人们的记忆中，同时还提出了一种将经验的本质与低层次的细节区分开来的方法：事件转换的整体结构（event-boundary）反映了高层次经验是如何展开的 (即其本质essence），而更细微的事件级属性反映了它的低层次的细节。作者建立了一个几何模型，根据事件的坐标序列捕捉高层次的情节本质，并通过观察每个事件内的几何属性确定更低层次的细节。

NO.3

方法 Method

实验流程

参与者（n = 22）在接受fMRI扫描中观看了电视剧《神探夏洛克》第一集《粉色的研究》的前48分钟(被分为23分钟和25分钟的两个片段)。在看完片段后，参与者被要求：尽可能详细地描述他们对剧集的回忆，尽量按照观看的原始顺序叙述事件，如果可能的话，至少要讲10分钟，但时间越长越好。同时，他们被告知，完整性和细节比时间顺序更重要，如果在任何时候他们意识到自己遗漏了什么，都可以补充。

【图1：实验流程】

另一方面，这段剧集被分为1,000个时间段，并由独立编码员进行注释（episode annotation）。每个注释都包括对事件的简要叙述，事件发生的位置、场景、角色姓名、聚焦的角色、当前说话者的姓名、镜头的角度、场景内的所有文本以及是否有背景音乐。然后，研究者使用主题模型（topic model）来发现剧集的潜在主题，并分析参与者对该剧的回忆。

【图2：实验范式】

主题模型（Topic Model）

研究者将这1,000个注释输入主题模型，得到两个输出矩阵。

1）话题矩阵（topics matrix），其行是话题（或潜在主题），其列对应话题中的词汇。主题矩阵中的条目反映了词汇中每个词在每个潜在主题中的权重。例如，一个以侦探为主题的话题可能在诸如 "犯罪 "和 "检索 "等词上占有很大的比重。

【图3：话题矩阵】

2）话题比例矩阵（topic-proportions matrices），每份文档为一行，每个主题为一列。主题比例矩阵反映了不同时间段内剧集所描述的主题的分布情况（图4a）。话题比例矩阵描述了每个文档中发现的话题的混合比例。

    研究者收集了1000个手动标注的时间段，每个标注包括正在发生的情节、动作发生的位置、屏幕上任何角色的名称和其他细节。他们将所有注释中的单词（除了停用词）并集作为话题模型的词汇表，并将所有重叠的滑动窗口中的单词集合连接在一起，将每个窗口视为单个文档，以适应话题模型。接下来，对这些文档进行了100个话题的话题模型拟合。他们发现，32个独特的话题足以描述该剧的时变内容。该方法类似于动态话题模型，但是研究者的滑动窗口方法可以在单个文档（或视频）内考察主题的动态。最终，他们得到了一个话题向量，用于描述Sherlock电视剧的主题动态，并与观看该剧时脑部成像数据的时间序列进行了匹配。

【图4a：话题比例矩阵】

    随后，研究者使用主题模型对《神探夏洛克》电视剧进行分析发现，他们找到的32个主题都是以人物为中心的，即每个主题中最常出现的词语几乎都是一个人物名字。这些主题可以大致分为以夏洛克·福尔摩斯（主角）为中心的主题、以约翰·华生（夏洛克的密友和助手）为中心的主题、以配角（例如莱斯特雷德警探、唐纳文警官或夏洛克的兄弟迈克罗夫特）为中心的主题，以及这些角色之间互动的主题。研究者还发现，每个时间点的主题向量通常很稀疏，只有少数主题（通常是一到两个）在一定的时间点被激活（如图4a所示）。此外，主题激活的动态表现出持续性（即，如果一个主题在一个时间点处于活跃状态，那么在下一个时间点它很可能仍然会处于活跃状态），同时偶尔也会出现突然变化（即，有时主题权重会在一个时间点和下一个时间点之间突然改变）。这两种主题动态的特性可以在时间点之间的相关矩阵的对角结构中看到（如图4b所示），反映了许多真实世界体验和电视剧的时间动态中的渐进漂移和突然变化。基于这种观察，研究者采用了 Baldassano 等人开发的方法，使用 HMM（隐马尔可夫模型）识别主题激活迅速变化的事件边界（即，时间相关矩阵中的块边界；HMM 识别的事件边界在图4b中用黄色轮廓标出）。模型拟合过程的一部分需要选择一个适当的事件数量，将主题轨迹分段。为了实现这一点，研究者使用了一种优化过程，最大化了事件内时间点与跨多个事件的时间点之间主题权重的差异。然后，研究者通过对每个事件所跨时间点的主题向量进行平均，创建了每个事件的稳定内容摘要（如图4c所示）。

【图4bc：话题比例矩阵】

NO.4

结果

1.  主题动态转变的两个特性

    在任何给定的时间点，只有少量的主题（通常是一个或两个）被激活（图5a）。然后，研究者通过对每个事件所跨越的时间点的主题向量进行平均，如图5c。此外，主题激活表现出动态持久性，也就是说，鉴于一个主题在一个时间点上是活跃的，它很可能在下一个时间点上也是活跃的，同时也有偶尔的快速变化，也就是说，偶尔主题权重会从一个时间点突然改变到下一个时间点。话题动态的这两个特性可以从逐个时间点的相关矩阵的块状对角线结构（block-diagonal structure）中看出（图5b）。

    然后，研究者将被试回忆场景的主题矩阵做相同处理（图5d-f）。为了研究被试者观看的具体影集和他们后来回忆出的事件之间是否存在某种关联，他们在情节事件向量（episode event vector）和回忆事件向量（recall event vector）之间建立了关联，黄色方框标出了每一列中的最大相关度，图5g呈现出原本剧情中呈现的事件序列，以及每个被试者的回忆事件序列（可能是不同的顺序）。

【图5】

2. 经典序列学习任务的衍生结论

Naturalistic extensions of classic list-learning analyses

    在传统的序列学习实验中，参与者学习一个项目列表（例如，单词），然后回忆这些项目，在本实验中，研究者将这种方法拓展运用到了更自然的情景回忆任务中。与序列学习任务相同的是，被试者有较高的概率从早期事件开始回忆（Probability of first recall）（图6a）；其次，探究滞后条件概率曲线（Lag-conditional probability curve）时，被试向相邻事件（尤其是前序事件）过渡的概率更高，并呈现出不对称的倾向（图6b）。而与序列学习研究中的典型结论不同，研究者没有观察到与首因性（primacy）或新近性序列位置效应recency serial position effects），研究者认为这也许是因为被试在观看较长剧集的过程中，对不同情节进行了联想和互相参考。

【图6】

3） 记忆的精确度和区别度（Precision & Distinctiveness）

    为了表征个体回忆事件中概念内容的扭曲和不同事件之间的概念重叠，研究者定义了两个连续的衡量指标：精确度和区别度。“精确度” 用于捕捉回忆的完整性，指的是回忆中出现的主题占原始事件中主题的比例，更精确的回忆意味着与原始事件有更多重合的概念。精确度衡量了回忆中人们捕获到了多少关于某一事件的细节，而“鲜明度”用于捕捉回忆的特异性，剔除了那些也与其他事件有关的细节，以体现回忆的独特性。因此，相较于其他情节，与某一情节格外匹配的回忆，就会得到很高的区别度分数；然而，如果一段回忆与所有事件的匹配度大致相同，则会得到相对较低的区别度分数。研究发现，这两者都与所回忆起的场景和事件的数量呈现相关性（图7b-e）。

    同时，回忆的“精确度”和“区别度”之间有很强的相关性，这意味着，相较于详细叙述在大多数事件中都反复出现的主题（这种行为会导致高精确度，但低鲜明度），被试倾向于精确地叙述某些特定事件的低层次细节。

【图7：精确度与鲜明度】

4. 用颜色呈现“精确度”和“鲜明度”

    图8c是一段叙述性情节的注释，其中每个动作或特征都用不同的颜色突出显示。如何用类似的方法标注被试的复述，找出包含对应事件的语句。在图8d中，研究者比较了精确度最高（P17）和最低（P6）的参与者对同一事件的回忆。显然，精确度更高的回忆能够捕捉到更多的事件内容和细节。不仅如此，图8e中，研究者给每段情节事件分配一个独特的颜色，每一个回顾的句子（图8f）都根据情节事件的不同而着色。对应图8c中的事件，他们提取了由区别度最高（P9）和区别度最低（P6）的回忆事件组成的句子集。目测可发现，鲜明度高的回忆内容紧密集中对应事件周围（呈现出相似色调）；而区别度最低的回忆则包含了更多其他事件的色调。

【图8：色彩呈现】

5. 情节的轨迹形状 The shape of the episode’s trajectory

    然后，研究者试图描述参与者对整体情节的叙述是如何抓住其高层次本质的。在这个低维空间中，每个点都代表一个单一的事件或回忆，点与点之间的距离反映了其对应主题向量之间的距离。

    换言之，在这个空间里，相距较近的事件在语义上比较相似，而相距稍远的事件则差别较大。有意思的是，情节的主题轨迹（图9a）与被试者回忆的平均主题轨迹（图9b）几乎重合。

【图9：主题轨迹】

    除了使我们能够直观地看到情节的高层次本质外，将情节描述为一个几何轨迹也使我们能够深入到各个单词，并量化每个单词与每个独立事件记忆之间的关系。图10a中，某些事件比其他事件更容易被精确记忆，五角星表示三个最精确（绿色）和最不精确（红色）记忆的事件。研究者好奇，被准确或不准确记住的事件是否与其反映的特定主题/情节有关。

    研究者创建了一个Wordle图像（图10），其中被加重记忆的主题词用较大的字体表述。图10b中的绿框内的图像对应一段精确回忆的情节，其中两个主角的名字（Sherlok，John）和关键地点(221B Baker Street)被明显放大。而如图10b中红框内所示，记忆最不精确的剧集内容反映的信息是与剧集内容无关的信息，如相对次要的角色（Mike，Molly）和无关紧要的地点（St Bartholomew’s Hospital）。

    研究者为三个记忆最精确和最不精确的情节事件构建了两个Wordle：左边的来自原始剧情（episode）；右边的来自所有被试者的平均回忆（Recall）（图10c）。三个记忆最准确的事件（绿色）反映了与主线情节不可分割的场景（如：一个神秘人在电话亭监视John）；同时，记忆最不准确的事件（红色）反映了由次要情节组成的场景（John询问Molly有关Sherlok过度分析人的坏毛病）。参与者观看的剧集中的哪些方面的动态内容在参与者的记忆中被保留或改变。

【图10：Wordle图像】

6. 大脑结构与记忆

    研究者进行了神经分析，旨在了解哪些大脑结构可能会促进被试者将观看的剧集转化/保留形成记忆。他们随后对该剧集的记忆。在第一项分析中，他们试图寻找对于展开剧情（主题轨迹topic trajectory）敏感的大脑结构；第二项分析中，他们试图某些特定结构，它们在观看剧集时的反应（在观看情节时）影响了每个被试者后来如何组织他们对情节的叙述。如图11c所示，剧情驱动（episode-driven）的分析揭示一个分布式的区域网络，该网络可能在处理与剧情叙事结构相关的信息中发挥重要作用；如图11d所示，回忆驱动的（recall-driven）分析揭示了第二个区域网络，它可能促进被试将个体经验转化为记忆。

    在这两项分析中，研究者发现，大脑结构的响应可能在处理与电视剧叙述结构相关的信息以及促进人们将体验转化为记忆方面发挥着重要作用。这些分析的结果扩展了经典的后续记忆效应分析到自然经验领域，揭示了大脑对于体验和记忆之间的复杂关系的理解提供了重要线索。

【图11：大脑结构与记忆】