Computational Modeling of the Interactions Between Episodic Memory and Cognitive Control 2024
情景记忆和认知控制相互作用的计算模型
https://theses.hal.science/tel-04573235v2/document
计算模型在情景记忆与认知控制之间相互作用的研究
摘要：情景记忆常以普鲁斯特的玛德琳蛋糕为例，描述了在感知刺激后重新体验过去情境的能力。这种简化的情景不应导致我们认为记忆是独立于其他认知功能运作的。相反，记忆处理高度转化的信息，并由执行功能调节，以指导决策制定。这些复杂的相互作用可以产生更高级的认知功能，例如通过结合情境相关的记忆来想象潜在的未来事件序列。大脑如何实现这种构建系统仍然是一个谜。因此，本论文的目标是采用认知建模方法，以更好地理解主要依赖海马的情景记忆和主要涉及前额叶皮层的认知控制之间的相互作用。它首先提供了关于情景记忆在行动选择中作用的回应。研究表明，神经情景控制，一种快速而强大的强化学习方法，在数学上与传统的Hopfield网络模型非常接近，后者是一个对海马理解产生重大影响的联想记忆模型。神经情景控制确实可以纳入通用Hopfield网络框架，因此展示了它可以用来存储和回忆信息，以及其他类型的Hopfield网络可以用于强化学习。执行功能如何控制情景记忆的问题也被提出。创建了一个尽可能少假设的受海马启发的网络，并用情境信息进行调节。根据情境信息发送的层次评估性能，为控制情景记忆的设计原则提供了依据。最后，提出了一个新的受生物启发的海马一次性序列学习模型。该模型在多个数据集上表现良好，同时再现了生物学观察结果。它为区域CA3的递归连接赋予了新的角色，即通过使回顾性分割细胞出现来区分重叠的序列。讨论了对海马理论的影响，并推导出了新的实验预测。
1 2 引言简介 （第一章为法语简介）
突然间，记忆浮现在我的脑海。这味道让我想起了在贡布雷的星期天早晨（因为那天我不会在弥撒时间前出门），当我去她的房间向她问好时，我的莱奥妮姑妈会把她的小玛德琳蛋糕浸在茶或菩提花茶中，然后递给我。
马塞尔·普鲁斯特，《斯旺家那边》（1913年）
一个简单的玛德琳蛋糕的味道如何能带我们穿越时空，让我们重温过去的一个特定时刻？是什么让这个特别事件从无数其他事件中脱颖而出？这个记忆又是如何指导我们的行为的？这些问题是本论文旨在回答的。
记忆是我们身份的一个基本组成部分。我们的经历塑造了我们的表征并指导我们的行动。回忆一个确切的情景需要一种特定形式的记忆：情景记忆。这是我们自然而然想到的形式，因为它属于显性记忆，在这个意义上，它有特权的意识访问。
情景记忆的一个关键要素是其能够非常快速地学习有时只被感知过一次的信息。想想你高中毕业的那一天。那只是发生了一次，但记忆可能仍然存在。这对于依赖重复例子来精确调整参数的自动学习模型来说是一个挑战。
使用这些方法，只看过一次的元素对参数的影响很小，几乎肯定会被遗忘。当模型更快地调整时，新信息会覆盖现有记忆，这被称为灾难性遗忘。这主要是因为自动学习模型旨在推广它们的知识，以便在新情况下进行分类、估计和行动。情景记忆不同于语义记忆等其他功能。推广是语义记忆的作用，而情景记忆可以快速整合新信息，将它们分开存储，以避免与旧信息的干扰（McClelland等人，1995年）。
情景记忆的另一个重要方面是其保持事件顺序的能力，这对于重叠的序列来说是很困难的。考虑以下场景：当你到达工作地点时，你乘电梯去办公室，午餐时，你乘同一个电梯去自助餐厅。记住从办公室乘电梯去自助餐厅的路线是有用的。相反，当你从外面到达工作地点时，记住这一点就不太有用。空间导航研究与情景记忆研究相关，因为空间表征支持大脑海马区域中情节的编码。这个区域的一些神经元，称为位置细胞，明确编码空间变量。在我们的示例中，电梯是通往不同目的地的共同通道，这使得区分相关记忆变得困难。一些位置细胞实际上根据我们来自的地方（回顾性分割细胞）或我们打算去的地方（前瞻性分割细胞）不同，而以不同的方式表示空间位置，正如Duvelle等人（2023年）所解释的。
情景记忆有时会捉弄我们。我们可能会不由自主地回想起不愉快的闯入性记忆，忘记有用信息，或者回忆起现实的真实扭曲版本。这些效应在阿尔茨海默病、创伤后应激障碍或强迫症等疾病中被加剧。健康的大脑通过情景记忆与验证回忆信息真实性的系统之间的互动来避免这些情况，并控制记忆恢复的时刻和内容。这些系统支持执行功能，即它们控制其他认知功能以执行行为计划。前额叶皮层是主要参与者。它被怀疑是导致上述前瞻性位置细胞分裂的原因，以引导记忆搜索朝向目标。
反过来，它利用情景记忆发送的信息来指导行为。例如，我们可能会选择购买我们过去欣赏过其音乐的艺术家的唱片。更复杂的功能源于记忆和执行功能之间的互动。想象未来情境就是一个例子，它似乎同时涉及过去记忆的结构和专门的认知控制区域（Schacter, Addis, 和 Buckner 2007）。这表明想象力通过重组记忆来预示未来。
人工智能生成技术的最新进展对社会产生了前所未有的影响，ChatGPT中标志性的变换器使用就是一个例子（Vaswani等人，2017）。与我们情景记忆的学习速度相比，这些方法需要天文数量级的数据。值得注意的是，变换器的某些方面与情景记忆模型的元素相似（Ramsauer等人，2020；Whittington, Warren等人，2021）。这个类比值得深入研究，以理解它们在数据需求上的差异。此外，变换器缺乏认知控制，使它们容易产生不准确的信息。
这篇论文的主要目标是描述情景记忆和认知控制之间的相互作用，然后继续与变换器进行比较，以发展这些相互作用的生物学上可信的计算模型。目标是双重的：一方面，有助于理解这些功能的损害背后严重病理的理解；另一方面，发展更好的自动学习模型。
论文结构如下。它首先从详细的文献综述开始，提供该主题的最新技术概述。
第3章介绍了情景记忆和认知控制在其他认知功能中的关系。
第4章描述了情景记忆的解剖学、表征、动态和计算机模型，重点放在一次性经历序列的学习上。
第5章介绍了前额叶和海马之间的相互作用的解剖学、表征、动态和计算机方面，这些相互作用允许由记忆引导的行为和面向目标的记忆。分析之后是三个贡献章节。
第6章发现情景记忆模型和深度学习算法的动作选择模块之间的数学等价性，加强了该算法与前额叶-海马相互作用之间的联系。然后展示了算法的一些元素如何提高了顶尖情景记忆模型在某些任务中的性能，以及情景记忆模型的一些元素如何反过来改进深度学习算法。
第7章探讨了情景记忆模型的情境调节。新兴的神经网络包括由情境调节的神经元，类似于分割细胞。结果也对海马中标准的情景记忆框架提出了质疑。在这些探索性研究之后，
第8章提出了一个新的海马一次性序列学习模型。该模型超越了其他测试的模型，并再现了多种生物学结果。最后，第9章总结了贡献并进行了讨论。
Part I Memory & Control记忆与控制
3 认知与记忆
遵循物理学的基本定律和事件的偶然性，时间自然会留下痕迹。人类从胚胎中成长，成为成年人，度过一生，最终死亡，但这些事件不能以不同的顺序发生（也许本杰明·巴顿是个例外）。人类和其他动物可以利用一系列事件留下的痕迹来做出决策。例如，它们可以通过跟踪足迹来捕猎猎物，因为足迹揭示了它的路径。时间有时也可能是不利的。无论它们多么有帮助，时间的痕迹有时不足以告知行动者该做什么。当随后的事件进一步改变环境时，信息可能会丢失。更根本地说，行动者必须“对抗”时间的影响以自我保存。出于这些原因，生物体已经发展出积极改变环境以自身利益的策略。生物体维持稳态，它们建造庇护所，对我们关心的最重要的是，它们形成记忆。
在认知科学中，记忆确实已经成为一个总称，指的是学习的基本能力：编码、存储和检索信息（Squire 2009）。形成记忆是对基质（编码）的修改行为，使得修改随时间持续存在（存储），目的是从该修改中提取信息（检索）并利用它在未来行动中受益。由于其普遍性，Zlotnik和Vansintjan（2019）描述了这个定义如何扩展了记忆的传统边界到大脑和心智之外的过程。例如，可以认为，免疫学过程，如因识别先前确定的威胁而触发的一系列反应，可以被解释为记忆过程。此外，书籍和硬盘是通常用于在体外存储信息的设备。因此，提出了扩展心智理论（Francisco等人，1991年；Clark和Chalmers，1998年；Clark，2008年）来解释心智、身体和环境之间的动态互动。
这篇论文主要限于大脑内的记忆过程（同时与扩展认知理论兼容），但这个引言旨在强调记忆概念已经变得多么普遍。因此，认知科学家在过去几十年中试图通过提出分类记忆系统和其他认知功能的标准来细化它。以下是一些标准的详细说明，以便更好地确定情景记忆和认知控制的具体内容，它们是高级认知的基础，也是本论文的主要焦点。
3.1 联想记忆与非联想记忆
用来分类记忆形式的一个常用标准是存储的信息是否是元素之间的关联。大多数形成的记忆都是联想的，比如当你学会2+2与结果4之间的关联，当你学会食物与愉悦（或厌恶）之间的关联，或者当你听专辑时知道下一首播放的歌曲是什么，举几个例子。联想学习的典型形式是经典条件作用和操作性条件作用，其中第一个刺激与第二个刺激配对，分别产生后果。然而，并非所有记忆都是联想的。习惯化和敏感化是非联想学习常见的形式。习惯化指的是对一个刺激的反应随着重复呈现而逐渐减弱，而不一定学习刺激和结果之间的关联（例如，缺乏惩罚）。习惯化的一个著名实例是猎犬对大声刺激的脱敏。虽然大多数狗天生在听到大声刺激时会退缩，但猎犬学会忽略像枪声这样的听觉刺激。在敏感化的情况下，反应强度会增加。当一个刺激多次呈现超过某个阈值（这个阈值决定了是引发习惯化还是敏感化）时，可能会发生敏感化。敏感化可能是创伤后应激障碍和恐惧症等病理的特征。
3.1.1 自联想和异联想
联想记忆的一个特殊情况是对单个元素的记忆，这乍一看似乎不涉及联想。记忆确实可以被框架为联想术语，即学习整体各部分和方面的相互联系。因此，对一个项目的回忆通常发生在感知到该项目的修改版本之后，无论是不完整的（图3.1b）还是嘈杂的（图3.1c），因为剩余的信息片段被用作回忆原始记忆的线索。这种使回忆成为可能的线索是同一整体的一部分的特殊情况称为自联想。它与异联想形成对比，后者的线索属于不同的项目。
值得注意的是，在某些情况下，自联想可能从一个实际上不属于同一项目的线索中回忆起来，但如果线索在编码期间不出现，则不被视为异联想。
在幻想性视觉（pareidolia）的情况下，回忆起的联想可以被认为是偶然的（图3.1e）。在具有侵入性记忆回忆的病理中，这甚至是有害的。然而，这种遥远的联想可以帮助将一个实例的属性泛化到更广泛的类别（图3.1d）。同样，这个过程可以支持创造性行为，比如给大脑结构命名（图3.1f）。
通过联想存储关于单个和多个事物的信息的方式与计算机中通常使用的方式形成鲜明对比，计算机中的记忆位于一个地址，其内容可以通过指向该地址的指针来访问。在计算机的情况下，记忆因此被局部存储，非常容易丢失数据。在联想记忆的情况下，内容是分布式的，并且可以用多种形式的线索来访问，这使得系统更加弹性。
3.1.2 联想空间与形式
记忆元素可以在许多维度上相互关联。形成联想的空间包括但不限于空间（例如，X在Y之上）、语义（例如，X是一只鸭子）、情感（X触发情感Y）和认知维度（例如，X帮助我达到目标Y）。回到之前的例子，当学习专辑中歌曲的连续性时，涉及了一个额外的维度：时间。记忆涉及哪些歌曲跟随其他歌曲。注意，联想因此可以是多维的，因为歌曲可以通过语义、情感和认知维度来描述，而歌曲的顺序构成了额外的时间成分。
使学习事件顺序成为可能的认知功能称为序列记忆，本质上是异联想，因为它涉及多个事件之间的时间关系。音乐的一个有趣特点是时间也是个别歌曲固有的。音乐是许多声音的时间组合，声音本身是随时间变化的空气压力变化。在练习时，音乐家学会为每个音符演奏特定的时长。在这里，不仅要学习事件的顺序，还要学习各个元素的时机。一个相关的例子是通过鸟类获取歌曲。HVC（用作专有名词）是负责排序歌曲的鸟类大脑结构，其输出与下游肌肉活动相关联，用于歌曲产生（Hahnloser等人，2003年；Long和Fee，2008年；Sankar，2022年）。当这个区域冷却时，产生的歌曲速度会减慢，揭示了HVC在运动计时中的因果作用（Long和Fee，2008年）。
在哺乳动物中，海马是学习事件时间展开的关键大脑区域。可以发现所谓的时间细胞，其活动受经过时间的调节（Itskov等人，2011年；MacDonald等人，2011年）。最近，有人提出海马生成一系列与皮层表征序列相关联的内容无关的指针，以学习事件的时间顺序（Buzsáki和Tingley，2018年）。在编码这种联想映射后，海马中重放序列将重放与经历过的事件相对应的皮层活动。这据信是记忆及其时间结构检索的基础。
霍华德·艾肯鲍姆（Howard Eichenbaum，2017a）提出，序列记忆实际上与联想记忆是不同的。在他的综述中，他描述了三种记忆形式：联想记忆、序列记忆和图式记忆。在他的观点中，“联想”必然是缺乏语义意义的，而序列记忆和图式记忆涉及有意义的关系。序列记忆特别涉及事件的时间排序，而他所说的图式记忆存储的是层次关系（例如，A大于B）。海马体的时间动态在表示、存储和回忆序列方面起着主要作用（见第4.4节）。
3.2 内隐和外显过程
在日常语言中，记忆这个术语通常指的是与事件、概念或事实相关的陈述性知识。与这种可以通过意识回忆和言语报告的内容相关的记忆类型被称为外显（或陈述性）记忆。然而，许多学到的东西不能这么容易地被访问和报告。在认知科学中，记忆的概念也包括内隐知识。例如，程序性记忆是获得技能的能力，而不一定能够交流或反思这些知识（想想解释如何骑自行车有多难）。另一个例子是语义启动，即在呈现一个相关词之后，对一个词的处理的促进效应。这个过程是自动发生的，无需人的意识。
从历史上看，内隐记忆和外显记忆之间的区别起源于著名的患者H.M.案例，他患有癫痫发作。因此，他的左内侧颞叶的大部分被手术切除。正如Scoville和Milner（1957）所描述的，这次手术导致H.M.严重失忆，无法回忆起手术前几年经历的事件（另见Milner等人，1968）。患者的形成持久外显记忆的能力也受到了严重损害。Scoville和Milner（1957）指出，“一旦他转向新任务，就不能再回忆起前一个任务的性质，如果重复测试，也无法认出测试”（第108页）。然而，很快就发现患者H.M.可以学习某些性质的新信息。在所谓的镜像追踪任务中，H.M.成功地学会了使用镜子反射的图像作为唯一的反馈来绘制一个物体（Milner 1962）。随着时间的推移，他的表现提高了，证明了保留了运动技能学习。在更近期的一项研究中，据报道，即使在接触任务359天后，也能评估到获得的技能（Gabrieli等人，1993）。后续调查揭示了H.M.和其他健忘症患者可以获取其他内隐学习任务，如Hannula和Greene（2012）所综述的。
患者H.M.的案例揭示了可以有意识访问和言语报告的获得信息（即外显的）与无法有意识访问和言语报告的信息（即内隐的）之间的明显区别。前者涉及内侧颞叶（海马体所在位置）的学习，而后者则是无法有意识访问和言语报告的学习。这篇论文关注的是传统上被认为是外显认知功能的情境记忆和认知控制。情境记忆确实涉及经历的存储和外显检索。同样，认知控制最初被假定总是使用外显表征来调节行动选择的情境。然而，基于认知过程是否伴随意识发生来分类认知过程的做法已经受到质疑，尤其是在情境记忆（Henke 2010；Hannula和Greene 2012）和认知控制（Lau和Passingham 2007；Gaal等人 2012）的情况下。在接下来的章节中，将介绍这些概念并讨论它们与意识的关系。
3.3 语义记忆和情景记忆
图尔文（Tulving，1972）进一步将外显长期记忆分为情景和语义两个子系统。情景记忆以其快速获取和存储信息的性质为特征。所谓的情景通常包括多模态感官信息以及情感内容。每个情景对应于一个特定的经历，并且指的是经历它的个体（即自传体的）。情景记忆的另一个关键特点是存储事件随时间展开的方式。它是一种时间联想记忆（见第3.1节）。
另一方面，存储在语义记忆中的是关于世界的一般事实和概念，例如巴黎是法国的首都或1+1=2。这些知识点在感官、情感和时间背景下始终是真实的。它们确实没有与它们的获取环境一起存储，因为环境可能不会始终与语义信息相关联。例如，巴黎和法国首都之间的关联在大多数情况下可能成立，但巴黎是法国首都和我地理老师穿着蓝色衬衫之间的关联在未来不太可能成立。联想、图式和序列关系（见第3.1.2节）构成了所谓的图式，它们构成了语义记忆的框架。
3.3.1 互补学习系统理论
为什么会有多个系统而不是一个系统同时扮演情景记忆和语义记忆的角色？这是McClelland等人（1995年）和互补学习系统理论所解决的问题。主要观点是海马体和皮层分别支持情景记忆和语义记忆，这种分工避免了由McCloskey和N. J. Cohen（1989年）引入的灾难性遗忘问题。他们在AB-AC范式（J. M. Barnes和Underwood 1959年）的背景下说明了这个问题，其中首先呈现一个单词（刺激），目标是产生配对的单词（反应）。在每次试验结束时给出正确答案。一旦在多次试验后学会了第一组联想（例如，机车-洗碗巾，桌子-街道，地毯-想法），就呈现了涉及相同刺激但不同反应的第二列表（例如，机车-香蕉，桌子-篮子，地毯-铅笔）。鉴于刺激和要使用哪列表的上下文，参与者必须提供正确的联想。Rumelhart（1990年）通过提供刺激和上下文（第一或第二列表）作为输入并评估输出，训练了一个连接主义网络来执行任务。他们展示了一旦呈现第二组联想，模型回忆第一组联想的能力就会灾难性地下降，而这种干扰效应在人类中要弱得多。人类受试者确实能够获得新的联想，而第一组的表现下降速度要慢得多，也不如模型中那么重要。通过交错第一组试验和涉及新联想的试验，可以减轻灾难性干扰。当使用这样的安排时，网络以更慢的速度获得新联想（因为同时呈现旧信息），但干扰效应大大减轻，因为旧联想不断被提醒（McClelland等人，1995年）。
虽然交错训练制度似乎解决了灾难性干扰的问题，但行动者无法总是控制其环境中呈现要学习的信息的顺序。互补学习系统的关键提议是海马体通过重放旧信息与新信息交错来教导皮层。因此，海马体扮演了一个内部模拟环境的角色，其训练制度比实际环境更优，以便于皮层学习。这引发了海马体如何实现这一功能并且自身不受灾难性干扰的问题。McClelland等人（1995年）提出海马体分别存储每次经历，因此存储一个不会干扰另一个的保留。为了这样做，海马体使用稀疏编码（C. A. Barnes等人，1990年；Quirk等人，1990年），使得略有不同事件的表征重叠很少（David Marr和Thach 1991年；Bruce L McNaughton和Morris 1987年；O’Reilly和McClelland 1994年）。这种表示和存储信息的方式非常适合快速获取且无干扰，但代价是无法发现多个示例之间的共同结构并跨情境泛化。有趣的是，情景记忆的性质据说就是这种解决灾难性干扰问题的结果：由于经历是分别存储的，因此必须保留多感官上下文。相比之下，皮层使用更密集的表征并缓慢聚合信息，这使得它在发现数据中的模式和跨多个情境泛化方面要擅长得多（McClelland等人，1995年）。在泛化过程中，不保留获取的上下文，只保留不变的因素。最后，皮层更加模块化，每个皮层区域比海马体更加专业化，海马体几乎整合了整个皮层的信息。这些元素解释了语义记忆和情景记忆之间的对比。
值得注意的是，当新信息与现有图式一致时，可以在新皮层中快速获得（Tse等人，2011年；McClelland，2013年）。互补学习系统理论因此被细化以解释这些发现Kumaran, Hassabis等人（2016年）。
3.3.2 内隐情景记忆
在第3.2节中，通过患者H.M.的著名案例介绍了外显和内隐记忆系统之间的区别。尽管他保留了获得技能的能力，但他的情景记忆受到了严重损害。情景记忆通常被认为是一种外显记忆过程，因为人们可以意识到并口头报告自己的情景记忆。然而，也有报道称海马体参与了通常与情景记忆相关的学习操作，而这些操作发生在没有意识意识的情况下（Hannula和Greene 2012；Henke 2010）。在Hannula和Ranganath（2009）的研究中，海马体活动预测了参与者是否成功地将目光移向与当前场景先前关联的面孔。在参与者无法有意识记住哪个是正确面孔的试验中也是如此。相比之下，海马体受损的健忘症患者没有表现出目光移动效应（Hannula, Ryan等人，2007）。这表明依赖海马体的关联回忆可以在不影响意识体验的情况下发生。同样，潜意识信息可以在海马体中编码，并影响未来的有意识检索（Henke, Mondadori等人，2003；Henke, Treyer等人，2003）。在这些研究中，面孔和职业（例如，水管工）的配对非常短暂地呈现（17毫秒），刺激前和刺激后都有视觉噪声，使其无法被意识感知。在编码（潜意识呈现）和检索（有意识呈现）期间，与实验条件相比，控制条件下的海马体活动发生了变化。在后续研究（Degonda等人，2005）中，先潜意识呈现不一致的配对（相同的面孔与不同的职业配对），然后有意识呈现面孔-职业配对。海马体也被发现受到刺激呈现的调节，与意识意识无关。最有趣的是，内隐配对损害了不一致的外显配对的检索，表明内隐记忆对外显记忆有影响。
这些发现挑战了基于意识的记忆系统划分。提出了一种基于处理模式的替代分类（Henke 2010），如图3.2所示。情景记忆能够快速编码灵活的联想（或绑定），如面孔-职业配对，它依赖于海马体和新皮层的部分区域。或者，熟悉感和启动涉及单个或单元化项目的快速编码，不需要海马体，而是需要周围的内侧颞叶结构。支持程序记忆、经典条件作用和语义记忆的刚性联想的慢编码与内侧颞叶完全无关（至少在巩固后；见第3.3.1节和3.4节）。
3.4 短期记忆和长期记忆
另一种常见的记忆系统分类方式是基于它们的时间容量来区分。存储在工作记忆中的信息容易受到干扰，通常不会保留超过几秒钟或几分钟，而语义、情景、程序和其他记忆系统的内容可以持续数年或终身。短期记忆和长期记忆之间没有明确的界限，这就是为什么这些术语可能会引起误解。实际上，记忆系统之间存在一个时间容量的连续体，同一系统中各个项目存储的时间也可能有所不同。然而，似乎存在处理阶段和系统容量之间的关系，正如阿特金森和希夫林（Atkinson和Shiffrin，1968）的多存储模型所建议的，每个系统都比前一个系统的容量小，因为它选择存储哪些信息，但可以存储选定的信息更长时间（见图3.3）。感觉记忆是最早的阶段，容量最大，但信息通过它迅速衰减，除非它被注意到并存储在工作记忆中。
对于短期（例如，感觉和工作记忆）和长期（例如，情景和语义）记忆系统如何存储信息，普遍存在一致的看法。短期系统通常依赖于神经激活的回响来维持信息随时间的保持。由于活动可能受到干扰，这种存储方式不如通过改变网络结构（通常是突触）来存储信息的长期记忆系统那么稳健。Stokes（2015）回顾了一些数据，表明工作记忆中信息存储存在一种替代的基于突触和活动沉默的方式。根据Beukers等人（2021）的说法，更简洁的解释是情景记忆（基于突触）与工作记忆（基于活动）相互作用。这表明所谓的“长期”记忆系统不仅可以在长期发挥作用，还可以支持短期内的认知。
3.4.1 标准巩固理论
关于海马体在记忆中的参与时间跨度也存在争议，这进一步模糊了短期记忆和长期记忆系统之间的界限。在Teyler和DiScenna（1986）的海马记忆索引理论中，海马体灵活地存储新皮层激活的新组合，并通过重新激活相应的皮层区域来回忆记忆。最终，这些记忆通过一个称为巩固的过程转移到皮层，而其他的记忆则被遗忘。标准巩固理论（Squire和Alvarez，1995；McClelland等人，1995）与第3.3.1节提到的互补学习系统理论类似，它基于这样的观察：海马体受损的患者比最近的记忆更能回忆起远期记忆，这种现象称为时间梯度逆行性遗忘。这个观点是，一旦记忆最初被存储在海马体中，巩固过程就会将记忆从海马体转移到新皮层以进行长期存储，正如Marr（1971）最初提出的那样，记忆不再存储在海马体中。然后，当从环境中感知到的信息与在皮层中巩固的信息（即与图式）一致时，前额叶皮层抑制海马体，以防止它学习多余的信息（Frankland和Bontempi，2005；Van Kesteren等人，2012）。
3.4.2 整合的记忆转换理论
标准的整合理论后来被海马损伤后远期记忆回忆受损的发现所挑战，当记忆真正是情景性/自传体的时候。因此，海马似乎对于生动地回忆详细的情节性记忆是必要的（Viskontas等人，2002年；Rosenbaum等人，2000年；Cipolotti等人，2001年）。多重痕迹理论由Nadel和Moscovitch（1997年）提出，作为标准整合理论的替代方案，以解释这些发现。顾名思义，该理论指出记忆以多重痕迹（即在海马和新皮层中）存储，并且海马被用于回忆情节性记忆，无论它们有多远。这一理论与更广泛的假设相一致，即记忆在转移过程中被转换，它们在新皮层中采取更多的语义形式，同时在海马中保持真正的情节性。最近提出的海马的CRISP理论（Cheng，2013年）也偏离了标准观点，强调情节记忆和海马处理的时间序列特性。作者指出，语义记忆存储的信息类似于情节记忆，但是回忆时间关联必然涉及海马。这正确地强调了情节记忆的时间特性，然而这一主张可以与语言（特别是句法）也包含强烈的时间成分，而且在海马损伤后大部分得以保留的观察相对比（但参见MacKay等人1998年报告的H.M.的语言障碍）。
互补学习系统（见第3.3.1节）通常与标准理论相关联，但也提出了将情节性记忆转换为语义记忆的机制。海马的皮层连接汇聚以及不同的学习速率和表征模式是解释为什么语义记忆忘记了个别情境的细节并丢弃了获取的上下文的好候选。总之，记忆系统有不同的时间容量，但它们之间的关系远比短期记忆和长期记忆之间的简单区分要复杂得多，时间成分可能不是区分它们的一个重要标准。
3.5 认知控制
3.5.1 认知控制的必要性
在第3.2节中，程序性记忆的概念被引入为获取技能的能力。在运动领域，这归结为在正确的时间选择和执行适当的运动命令。运动控制的一个直接策略是学习每个动作的奖励程度，并总是选择最被奖励的候选动作。问题是，这个结果可能是动作的随机函数，不一定是因为世界本质上是随机的，而是因为代理只有部分信息。在这种情况下，个别结果可能无法预测，但代理仍然可以学习与可能结果分布相关的统计数据。通常，这是通过跟踪中间统计数据并用经验流更新它们来实现的。这意味着在精确性和灵活性之间存在权衡：更新应该慢以收敛到真实统计数据，但慢速会影响在分布不固定（即随时间变化）的情况下的适应。这种情况发生的原因与证明补充情节和语义系统的必要性的原因相似（见第3.3.1节）。非固定性的一个案例是当动作导致的状态不再被奖励，正如奖励贬值范式所捕捉的（Dickinson和Balleine，2002年）。如果动物吃饱后或耗尽了食物来源，这种情况可能会发生。另一个案例是状态依赖性的修改。在这种情况下发生变化的不是奖励，而是状态之间的转换。例如，由于障碍物的出现，代理和奖励状态之间的旅行距离可能会增加。在这些情况下，通常选择的动作可能会导致次优结果，因此必须修改策略。
3.5.2 控制的多种形式
人类和许多其他动物能够适应这些情况。它们可以通过整合不同来源的信息来改变行为。一个明显的策略不是学习绝对的行动-结果关联，而是学习刺激、反应和结果之间的关联：选择吃东西在面对食物时会得到比什么都没有好得多的结果。超出这个简单的例子，行动和结果之间的关系可能极其复杂。可能正确的行动取决于对世界过去的观察，取决于过去感知到的刺激。例如，觅食的蜜蜂被认为会存储食物来源的记忆，并用摇摆舞来传达这些来源的方向和距离信息给它们的蜂巢（Menzel 2023）。对于蜂群的生存至关重要的是，舞蹈传达了关于实际食物来源位置的正确信息。同样，代理可能在检索到障碍物的感知后决定绕道而行，这个障碍物正在改变状态的依赖性。
也可能正确的做法取决于刺激的组合或序列。在语言中尤其如此，注意“我的猫追狗”与“我的狗追猫”以及“追逐猫我的狗”之间的区别。同样，行动的序列可能很重要，因为可以执行个别次优行动以追求长期计划。一个无法执行连贯行动序列以达成目标的代理，就像布里丹的驴一样，因为其饥饿等于口渴，死在一堆干草和一桶水的中间。
决策的许多层面常常在哺乳动物等动物中共存。虽然通常导致积极结果的行动被自动化，但它们可以灵活地被抑制，以支持不那么显著的反应。这是通过一个称为认知控制的过程实现的，该过程监控传入的结果，在工作记忆中存储相关刺激，并通过部署注意力来调节运动皮层中的显著性，从而相应地偏向行动（Posner等人，2004年）。这一功能主要依赖于前额叶皮层的完整性。与海马损伤特别损害情节记忆的H.M.不同，前额叶受损的患者K.M.表现出认知控制缺陷。
3.5.3 内隐认知控制
认知控制、注意力和工作记忆直观上（并且历史上）与意识相关联（并且经常被混淆）。再一次，随着证据表明这些功能在没有意识觉知的情况下也能运作，共识已经从这种观点转移开（Lau和Passingham 2007；Van Gaal, Ridderinkhof, Fahrenfort等人2008；Van Gaal, Ridderinkhof, Scholte等人2010；Gaal等人2012，但参见Persuh等人2018）。Dehaene等人（2006）提出了一种意识处理的分类。他们强调了意识和注意力之间的区别：注意到一个刺激是它进入意识的必要条件，但如果刺激太弱，它可以被注意到但仍然保持无意识。然后这个刺激被称为阈下刺激。与情节记忆类似，似乎认知控制与显性表征密切相关，但更好地定义其特征的是其处理模式：自动反应的情境调节。
3.6 元认知和元记忆
海马和前额叶皮层被认为共同支撑灵活的认知，前者通过结合新的新皮质组合来存储记忆（情节记忆），后者在情境破坏习惯性行动时偏倚反应（认知控制），正如J.D. Cohen和O'Reilly（1996）所描述的。结合这两个结构可以使得行为更加灵活，每个结构都在执行对另一个结构的功能。它们一起被认为支持所谓的大脑构建系统（Hassabis和Maguire 2009），即一个结合记忆信息通过想象来预测未来的系统（Schacter, Addis, 和 Buckner 2007; D.T. Gilbert 和 T.D. Wilson 2007; Spreng等人 2009; Hassabis和Maguire 2009; Schacter, Addis, Hassabis等人 2012）。
在第5章中，将描述前额叶-海马交互作用（图3.4）。海马到前额叶的投射将被介绍为提供情节记忆背景给认知控制。海马还被展示为编码前额叶活动，就像编码其他皮质区域的活动一样。因此，海马也可以重放前额叶信息以巩固记忆，并提高前额叶皮层执行认知控制的能力。相反，前额叶对海马的影响也将被描述。除了情境调节行动选择，前额叶皮层还将被展示为控制情节记忆操作。编码的控制已在第3.4.1节中提及。情节记忆检索的情境控制也将被详细描述。
这些功能可能位于我们认知的最高层次。它们是对其他功能施加影响的功能，因此可以被称为元认知或元记忆。这篇论文的核心目标是论证神经科学、认知科学和人工智能现在已经足够成熟，可以处理这些主题，而这些功能可以增强机器学习（Chateau-Laurent和Alexandre，2021a），解释创造性过程（Chateau-Laurent和Alexandre，2021b），并构成大脑的构建系统。
4 Episodic Memory情景记忆
4.1 引言
正如第3章所介绍的，情节记忆可以通过多个标准与其他记忆系统区分开来。这些标准单独来看可能会受到质疑，但总体上揭示了情节记忆的本质。情节记忆的内容通常影响显性过程，并且往往可以口头报告，这与程序性记忆等隐性系统形成对比。它有可能被存储一生，并为其他认知功能如决策和认知控制提供上下文。它也可以被巩固成更持久的语义形式。
也许最能特征化情节记忆的是其处理模式，即它能够灵活且迅速地编码和存储已知对象之间的新关系（图3.2），通过绑定以前无关的认知表征。它是一种存储特定情境对应的多模态信息序列的记忆形式。为了做到这一点，它必须能够访问广泛范围的认知模块的信息，并编码它们的联合。它还必须能够迅速学习这些联合绑定，因为类似的信息可能不会多次经历，以及这些信息是如何随时间演变的。除了消除不同记忆之间的歧义，本章将清楚地表明，支持情节记忆的大脑区域也能够迅速提取类似情境之间的统计规律性。在必要时，记忆必须能够通过用检索时缺失的信息填充认知模块来检索记忆，甚至可能替换当前情境的信息。然后情节记忆引导生物体按正确的顺序重新体验事件的所有方面。这种或许理想化的观点对应于当前对情节记忆如何工作、如何与其他认知功能互动以及支持记忆巩固的理解。
通常将情节记忆内容视为“什么-哪里-何时”的联合，但要完全理解将认知功能内容绑定在一起的潜力是困难的，尤其是像人类所展示的那样多样化的功能。“什么”确实可以包括在多个时空尺度上编码的语义、情感、社会、抽象甚至元认知方面。情节记忆内容的另一个方面是它与自我相关，与语义记忆的异位性质形成对比。这是由信息的多模态情境化所决定的，并构成了自传体记忆（即个人生活事件的记忆）和自知意识的基础，即把自己置于过去和未来的能力。另一方面，语义记忆的异位性质可以通过抽象掉个体经验的细节来解释。
本章介绍了情节记忆在内侧颞叶下的解剖学（第4.2节）、表征（第4.3节）和动态（第4.4节）。然后，在第4.5节中，介绍了快速模式和序列学习的计算模型，以及逐步提取统计规律性的模型。
4.2 Anatomy解剖
内侧颞叶是情节记忆的中心（Scoville和Milner，1957年）。它主要由海马和邻近海马的区域组成，如内嗅皮层。这些区域共同支持情节的编码、存储和检索。
内嗅皮层（Entorhinal Cortex，EC）是大脑颞叶中的一部分，位于海马体的前方。在连接性方面，内嗅皮层是新皮层和海马体之间的主要接口。因此，内嗅皮层是许多不同来源的汇聚地。它被分为内侧和外侧区域，这些区域向海马体提供不同类型的输入（Howard Eichenbaum, Yonelinas, 等。2007; Manns 和 Howard Eichenbaum 2006）。外侧部分连接到“什么”路径，这是一个主要涉及颞叶的新皮层回路，传递关于感知场景的语义信息（例如，物体的特征）。另一方面，内嗅皮层的内侧部分连接到“哪里”路径，通过顶叶传递关于空间上下文的信息（例如，物体的位置）。内嗅皮层的两部分都连接到海马体，海马体被认为是将来自两个流的信息进行绑定的地方（Howard Eichenbaum, Yonelinas, 等。2007; Whittington, T. H. Muller, 等。2020）。
与内嗅皮层的内外侧划分几乎垂直的是纵向轴（图4.2），如Strange, Menno P Witter, 等。（2014）所综述的。在大鼠中，它从背外侧部分延伸到更多的腹内侧部分。这些部分分别优先连接到背侧和腹侧海马体的两端（图4.2b）。在猕猴和人类中，这种连接梯度沿着海马体的前后轴定向（图4.2a）。
与其他皮质区域一样，内嗅皮层的神经元被分为不同的层（图4.3）。内嗅皮层柱由六层组成，第二层、第三层、第五层和第六层包含大多数神经元。端脑输入汇聚到第二层和第三层的神经元。第二层随后连接到海马体的齿状回和CA3区域，而第三层的神经元投射到CA1区域。CA1和海马体的下托则将海马体的输出发送到内嗅皮层的第五层，然后这些信息被传回端脑结构。大鼠内嗅皮层的第二层、第三层和第五层分别由大约11万、25万和33万个神经元组成（表4.1）。
4.2.2 齿状回
齿状回（Dentate Gyrus，DG）是海马形成三突触回路的一部分，即一条将内嗅皮层与CA1区域分开的具有三个突触的路径（图4.1）。齿状回主要由位于髓质的颗粒细胞和苔藓细胞组成。齿状回的颗粒细胞通过穿通路径接收来自内嗅皮层的投射，主要来自第二层。颗粒细胞反过来投射到齿状回的苔藓细胞和CA3锥体细胞。苔藓细胞接收来自颗粒细胞和CA3锥体细胞的输入，然后反过来投射回颗粒细胞。因此，该回路是双重递归的，有一个小的齿状回内环，还有一个涉及CA3的大环。
颗粒细胞具有独特的特性。首先，它们是海马形成中最丰富的神经元，如表4.1所示。其次，它们的活动似乎是大脑中最稀疏的（M. Jung和B. McNaughton，1993年；Diamantaki等人，2016年）。在对自由移动大鼠的研究中，M. Jung和B. McNaughton（1993年）发现只有12%的颗粒细胞放电频率超过0.5Hz。这种稀疏性被认为是由抑制性篮状细胞介导的（Andersen，1975年）。第三，新的颗粒细胞在一生中在鱼类、爬行动物、鸟类、啮齿动物、非人类灵长类动物和人类中产生，而这种成年神经发生除了在室管膜下区外，还没有在其他地方被记录。新生颗粒细胞融入到预先存在的颗粒细胞网络中（Toni等人，2008年）。此外，它们表现出高兴奋性和增强的突触可塑性（Schmidt-Hieber等人，2004年；Trinchero等人，2017年），与成熟的颗粒细胞不同，后者表现出低兴奋性和可塑性，以至于有时被认为是功能上退役的（如Lopez-Rojas和Kreutz，2016年所批判性回顾的）。新生神经元在学习中的作用是有争议的，但实验表明神经发生是减少类似事件之间记忆干扰所必需的（Yau等人，2015年）。最后，颗粒细胞与CA3细胞的接触概率非常低，且具有独特的强大“引爆器”突触，以至于颗粒细胞的单个动作电位就足以在其目标CA3神经元中产生动作电位（Henze等人，2000年；Vyleta等人，2016年）。结合齿状回对内嗅皮层输入的陡峭S形响应（Renata Bartesaghi等人，1995年），引爆器突触参与使海马成为一个几乎全有或全无响应特征的区域（Bartesaghi等人，2006年）。
4.2.3 CA3
严格来说，海马体是指被称为角回的小型弯曲结构，它被分为四个部分，并且不包括齿状回。第三部分，CA3，主要由锥体神经元组成，这些神经元接收来自齿状回颗粒细胞的输入（三突触回路的第二突触）。CA3的锥体细胞因其轴突由递归侧枝组成而闻名，这些侧枝分支并与其他CA3锥体细胞连接，还有Schaffer侧枝投射到CA1锥体细胞，完成了三突触路径（EC →1 DG →2 CA3 →3 CA1）。一个常被忽视的连接是第二内嗅皮层的传入。一个更少为人知的连接是从CA3锥体细胞到齿状回髓质苔藓细胞的反向投射（Scharfman 2007）。
4.3 表征：海马体作为认知地图
4.3.1 网格细胞
Hafting、Fyhn、Molden等人（2005年）发现大鼠内侧内嗅皮层的细胞能够调整以代表空间环境的地图。他们揭示了所谓的“网格细胞”的六边形活动模式。这些模式被称为网格场，可以通过三个参数来描述，这些参数在不同的细胞之间有所不同：方向、间距和空间相位。网格细胞在拓扑上是有组织的，即相邻的神经元调整为类似的方向和间距（Hafting、Fyhn、Molden等人，2005年）。在更细微的尺度上，相位也是如此（Heys等人，2014年）。除此之外，间距沿着内侧内嗅皮层的背内侧至腹外侧解剖轴增加（Hafting、Fyhn、Molden等人，2005年），间断的步骤表明网格细胞是按功能模块组织的（Stensola等人，2012年）。在猴子中也发现了网格细胞和网格间距增加的轴（Killian等人，2012年）。
也许更有趣的是，在没有视觉线索的情况下，甚至在完全黑暗中，它们的调整持续性。根据作者的说法，这一特性表明网格细胞在路径整合中扮演着重要角色，即代理保持其空间位置的表征，并用自身运动信息更新它。后来，这一理论得到了支持，因为在训练用于路径整合的人工递归神经网络中出现了类似网格的细胞（Banino等人，2018年；Cueva和Wei，2018年；Sorscher等人，2019年；Whittington, T. H. Muller等人，2020年；Nayebi等人，2021年）。然而，这些发现被Schaeffer等人（2022年）回顾并挑战，他们除非在事后实施选择，否则没有发现网格场。他们提出，路径整合目标可能是必要的，但不足以使网格场出现。除了这一争议之外，计算网格细胞形成的模型通常假设内侧内嗅皮层正在整合速度信息。其中一些依赖于连续吸引子的概念（例如Burak和Fiete，2009年；Fuhs和Touretzky，2006年；Bruce L McNaughton，Battaglia等人，2006年；Guanella等人，2007年），并预测网络动态位于一个环形流形上。最近的一项研究通过同时记录7.671个内嗅皮层神经元，并展示它们的活动跨越一个在睡眠中和跨环境持续存在的二维环，为这一理论提供了支持（Gardner等人，2022年）。另一个有趣的规范理论是，网格场作为预测未来状态占用矩阵的特征分解结果而出现（Stachenfeld等人，2017年）。这与第4.5.5节中描述的后继表征框架有关。
4.3.2 Place Cells放置细胞
海马体还包括所谓的位置细胞，这些细胞受空间位置的调节，但其放电场（称为位置场）没有网格细胞的六边形结构（O’Keefe和Dostrovsky 1971）。这些位置细胞的发现支持了海马体编码环境认知地图的古老理论（Tolman 1948）。
当环境变化时，位置细胞的活动也会变化，它们的场被重新分配到不同的位置，它们会重新映射（R. U. Muller和Kubie 1987）。环境的连续变化导致不连续的全局重新映射，这让人想起吸引子动态（Wills等人 2005）。
一个直观的解释是，海马体神经元从调节各异的网格细胞接收信息，位置场自然地作为它们各自网格的联合而出现。这个想法已经被Solstad等人（2006）提出并数学验证。Santos-Pata等人（2021）最近提供了这一现象的另一个证明，他们训练了一个网络以自编码器的方式简单地输出其输入，输入类似于内嗅皮层活动。一旦训练完成，就可以在中间的海马体层观察到位置细胞，并表现出速率调节和全局重新映射等生理现象。然而，该网络接收的不仅是内侧内嗅皮层输入，还有外侧内嗅皮层输入。虽然Solstad等人（2006）的理论仅依赖于网格细胞，因此没有赋予外侧内嗅皮层角色，但已经注意到海马体是“什么”和“哪里”皮层路径的汇聚地（Howard Eichenbaum, Yonelinas等人 2007；Manns和Howard Eichenbaum 2006；Whittington, T. H. Muller等人 2020），位置场可能作为这两个信息源的联合而出现。因此，海马体将通过将外侧内嗅皮层提供的语言信息与网格细胞编码的位置信息结合起来，在其上下文中编码项目。这个替代理论的一个预测是语言信息对位置细胞的活动有影响，这一点已经通过观察对物体操纵有反应并指示地标距离的地标-向量细胞得到了证实（Deshmukh和Knierim 2013）。
与网格细胞不同，位置细胞似乎没有拓扑排列（M. A. Wilson和Bruce L McNaughton，1993年；M.-B. Moser等人，1995年；但参见Nakamura等人，2010年）。然而，它们的比例在啮齿动物中也从背侧到腹侧方向增加（Min W Jung等人，1994年；Maurer等人，2005年；Kjelstrup等人，2008年）。Strange, Menno P Witter等人（2014年）回顾了一系列从解剖学和功能上描述这个轴的结果。网格和位置细胞使用的多尺度表征被认为支持记忆和导航的层次组织。一个好例子是传递性推理任务，参与者在被告知A与B相关，B与C相关后，必须推断A与C相关。后者的关联比A和C之间的关联低一个层次。研究表明，这种推理依赖于大鼠的腹侧海马体（Komorowski等人，2013年）和人类的前海马体（Heckers等人，2004年；Preston, Shrager等人，2004年）。由于这些区域的位置场规模较大，它们的活动覆盖了更多的空间位置和更多的项目，这些项目在背侧/后侧区域可能不重叠，这可能是上述传递性推理的基础（Strange, Menno P Witter等人，2014年）。
Mehta等人（1997年）表明，位置场是由经验空间轨迹塑造的。当大鼠多次沿同一方向穿越线性轨迹时，它们的位置场的重心向相反方向移动并增大。因此，它们变得不对称。此外，一些位置细胞不仅根据空间中的位置放电，还取决于时间上接近的过去和未来的轨迹（Wood等人，2000年；L. M. Frank等人，2000年）。L. M. Frank等人（2000年）确实发现了只有在动物占据其位置场并来自环境的特定部分时才放电的细胞。一些细胞在大鼠到达它们的场并即将朝特定方向前进时放电。与这些所谓的分裂细胞（它们的放电被前瞻性或回顾性信号分裂）相关的结果最近被Duvelle等人（2023年）回顾。
位置细胞这个名字将这类神经元与空间导航紧密联系在一起，模糊了与记忆的关系。虽然这些细胞明显编码空间变量，但正如上面讨论的重新映射和分裂细胞现象所建议的，它们也受到其他变量的调节。最近，研究发现位置场在一个旨在压缩感官体验的模型中出现，位置细胞可能仅仅是记忆细胞，也就是说，它们的活动反映了存储相关模式的有效策略（Benna和Fusi，2021年）。例如，他们的模型解释了基于轨迹去相关的历史上依赖的分裂细胞。这与Howard Eichenbaum, Dudchenko等人（1999年）的较早提议一致，即观察到位置细胞并不足以得出海马神经元主要编码空间的结论。
同样，许多研究发现海马体细胞受到非空间变量的调节，如声音（Sakurai，2002年；Aronov等人，2017年）、气味（Eichenbaum等人，1987年）、面孔和物体（Fried等人，1997年）。这些发现进一步滋养了Tolman（1948年）的认知地图理念。一个现代的概括是Whittington, T. H. Muller等人（2020年）提出的Tolman-Eichenbaum机器模型，该模型建议内嗅皮层-海马体系统以共同的机制整合任何认知变量，包括最抽象的变量。他们将空间路径整合推广到通常与关系记忆相关的抽象任务（例如社会等级和传递性推理），这些任务已被实验发现依赖于海马体（N. J. Cohen等人，1999年；Konkel和N. J. Cohen，2009年；Dusek和Howard Eichenbaum，1997年；Kumaran，H. L. Melo等人，2012年）。在这个模型中，位置细胞作为由外侧和内侧内嗅皮层分别发送的感觉和结构信息的联合出现，正如Manns和Howard Eichenbaum（2006年）所提出的，产生了Deshmukh和Knierim（2013年）观察到的地标细胞。Tolman-Eichenbaum机器的一个预测是，作者用现有实验数据验证的，即位置细胞不会随机重新映射，而是与内嗅皮层网格代码保持一致，以至于与网格细胞共同放电的位置细胞在重新映射后仍将与之共同放电。
4.4 动态：振荡作为记忆操作
脑振荡是指由神经元群体产生的节律性电活动。它们在海马体中非常显著，被认为反映并支持认知操作（Lisman和O. Jensen，2013年；Buzsáki和Watson，2012年）。
4.4.1 内嗅皮层缓冲区
Egorov等人（2002年）描述了大鼠脑切片中内嗅皮层第五层（EC5）的神经元如何响应它们的输入。他们证明了EC5（CA1->EC5）细胞在刺激后可以表现出稳定的活动模式，持续时间似乎无限长（长达13分钟）。表现出这种持久活动的可能是刺激的幅度（纳安）和持续时间（秒）的非线性函数，每个神经元的参数不同。此外，作者描述了多个稳定的持续放电频率水平。他们展示了兴奋性和抑制性刺激分别可以诱导放电频率的上升和下降转换。在随后的研究中，Fransén等人（2006年）打算复制并扩展这些结果。除了多个稳定性水平外，他们观察到了一个连续的稳定状态。这些结果表明EC5神经元实现了所谓的积分器，即它们随时间积分输入。在内嗅皮层的第二层和第三层也观察到了持久活动（Tahvildari等人，2008年）。
Hasselmo和Stern（2006年）回顾了这些结果，并提出内嗅皮层利用这些机制来实现对新信息的工作记忆。简而言之，一个刺激可以在内嗅皮层引起持久的活动，使得刺激信息在刺激移除后的短期内对那个区域可用。由于在内嗅皮层产生持久活动的机制发生在单个细胞的水平，这种记忆不依赖于突触连接，因此可以存储以前从未遇到过的突触可塑性之外的刺激。相比之下，前额叶和顶叶皮层也表现出持久活动，这被认为是工作记忆的基础，但这种活动被认为依赖于细胞的反复突触兴奋。因此，Hasselmo和Stern（2006年）认为，这种基于连接的工作记忆实现不足以存储以前没有形成反复回路的新刺激。作者将他们的理论与A. Baddeley（2000年）对他早期工作记忆模型（A. D. Baddeley和Graham，1974年）的多模态情节缓冲区的添加联系起来。
工作记忆通常预期会表现出负荷效应，即其活动根据存储的刺激数量而变化。在一项fMRI研究中，Schon等人（2016年）采用延迟匹配样本任务来探测内侧颞叶区域是否表现出这种负荷效应。参与者被展示一系列两个（低负荷）或四个（高负荷）新的风景图片，在延迟期间保持刺激在记忆中，并被要求确定测试图片是否与该试验的前一个风景匹配。结果，内嗅皮层在维持四个刺激时的活动比维持两个刺激时更大，这与Hasselmo和Stern（2006年）的理论一致。
相关工作来自于对振荡动态在序列学习中作用的研究（O. Jensen和Lisman，2005年；Lisman和Idiart，1995年；O. Jensen、Lisman等人，1996年；O. Jensen和Lisman，1996年）。在O. Jensen和Lisman（2005年）的综述中，作者提出内嗅皮层是一个短期记忆振荡缓冲区，它保存关于最近事件序列的信息，并以最适合长期记忆存储的速度将其发送到海马体。这将在Socratic模型（第4.5.5节）的背景下更详细地描述。
现在我们来描述从内嗅皮层发送到海马体的信息。这两个区域紧密互动，因为内嗅皮层既是海马体的主要输入源，也是主要输出目的地。这个循环表明可能存在反馈效应，因此对海马体输入的特性进行描述变得具有挑战性。研究试图通过在海马体失活条件下孤立描述内嗅皮层活动来研究传出内嗅皮层信息的性质。在其中一项研究中，Hafting、Fyhn、Bonnevie等人（2008年）报告了内嗅皮层网格细胞中的theta振荡和相位前置。当一个细胞在每个连续的振荡周期中越早越早地放电时，它就表现出相对于全群体振荡的相位前置。在活动期间，海马体和内嗅皮层确实被强烈的theta振荡（4-10Hz）所主导。海马体的位置细胞通常表现出相对于这种节律的相位前置。当进入其位置场时，细胞将在theta周期的末尾放电，并且随着动物的前进，细胞将在更早的相位放电，直到动物退出其场域，神经元停止放电。因此，位置细胞群体不仅通过放电细胞的身份编码位置，还通过它们相对于theta的精确活动时机来编码。由于Hafting、Fyhn、Bonnevie等人（2008年）展示了内嗅皮层细胞在没有海马体的情况下表现出相位前置，海马体中的相位前置至少部分地是从传入区域继承而来的。有趣的是，与CA1相连的内嗅皮层第三层的神经元没有表现出相位前置，这表明单突触路径不传递这种定时信息。内嗅皮层第二层、CA3和CA1的神经元确实表现出前置，CA1可能从CA3继承了它。Theta序列是在单个theta周期中可以从海马体神经元群体的活动解码出的行为状态序列。虽然这种电路级现象可能受到细胞级相位前置的促进，但一些结果表明，相位前置在第一次穿越线性轨迹时已经存在，而theta序列在随后的经验中迅速出现（Feng等人，2015年）。
4.4.2 Theta-Gamma编码
海马体的theta波（4-10Hz）中嵌套有gamma波段（25-140Hz）的振荡，后者的速度大约是theta振荡的七倍。实际上，增加划分theta周期的箱子数量有助于解码动物的位置，直到六个箱子（O. Jensen和Lisman，2000年）。此外，CA1中的位置细胞通常在连续的七个theta周期中放电（Skaggs，Bruce L McNaughton等人，1996年）。基于这些结果，出现了海马体活动在动物活动时以theta-gamma编码组织的观点（Lisman和O. Jensen，2013年）。
信息在内嗅皮层中缓冲，并以这样的方式发送到海马体：即正在进行的序列的每个状态都在正在进行的theta周期的每个连续的gamma周期中得到代表（图4.4）。随着动物移动并感知新信息，新的theta以更先进的状态开始，并以以前未代表的状态结束。这让人想起一个滚动的状态窗口，或者计算机科学中的队列数据结构。相位前置自然地从这个编码中出现，因为连续的状态在theta周期中越来越早地被代表。
Hasselmo，Bodelón等人（2002年）回顾了一系列描述theta节律在调度记忆操作中作用的结果。来自内嗅皮层的信息在theta周期的峰值时发送到海马体（Brankač等人，1993年）。与此同时，来自CA3到CA1的输入较弱。在相同的相位，CA3到CA1的突触可以经历长期增强（LTP）Hölscher等人；Wyble等人（1997年；2000年）。在theta的低谷，来自内嗅皮层的输入较弱，而CA3中的信息被传递到CA1 Brankaček等人（1993年）。与此同时，LTP较弱，可以诱导相反的去增强Hölscher等人（1997年）。Hasselmo，Bodelón等人（2002年）提出，峰值是皮质信息被发送到海马体进行突触存储的阶段，而存储的记忆在低谷时被检索（图4.5）。这个提议源于第4.5节描述的标准海马体功能框架，即记忆存储在CA3区域的反复侧枝中。
Gamma振荡在海马体中并不是均匀的，它们的多样性提供了关于CA1如何整合来自CA3和内嗅皮层信息的关键信息。在自由移动的大鼠中，Colgin等人（2009）发现CA1的gamma振荡可以分为慢（25-50Hz）和快（65-140Hz）两个gamma波段。在每个theta周期内，gamma功率通常集中在这两个波段中的一个，具有相同gamma波段的theta周期通常被聚集在一起。同时记录了CA3和内嗅皮层第三层的EEG活动。在慢gamma期间，CA1的gamma活动与CA3同步，但与内嗅皮层不同步。另一方面，快gamma的特征是CA1和内嗅皮层之间的高度同步，而不是CA1和CA3之间。此外，快gamma振荡在theta低谷时最强，而慢gamma振荡在theta下降阶段最强。
基于位置细胞有时使用theta序列进行前瞻性编码，代表动物前方的位置Battaglia等人（2004年），Bieri等人（2014年）分析了在慢和快gamma节律期间起作用的空间编码模式。与前瞻性编码反映记忆检索、回顾性编码反映编码的预测一致，与CA3相关的慢gamma在前瞻性编码期间增加，与内嗅皮层相关的快gamma在回顾性编码期间增加。在线性轨迹上，慢gamma期间的尖峰比快gamma期间更早发生，CA1细胞在慢gamma期间检索即将到来的位置，在快gamma期间编码过去的位置。
如果gamma周期代表连续的空间位置，如theta-gamma编码理论所述，慢gamma应该比快gamma编码更短的轨迹。C. Zheng等人（2016年）实际上表明，慢gamma编码更长的轨迹，因为在慢（而不是快）gamma周期中编码了多个位置。另一方面，快gamma代表了非常短的序列。这可能与内嗅皮层第三层缺乏相位前置有关（Hafting, Fyhn, Bonnevie等人，2008年）。
虽然这些结果揭示了海马体信息处理的情况，但快gamma的确定相位（theta低谷）与Hasselmo, Bodelón等人（2002年）关于theta相位和记忆操作之间关系的观点不一致，正如Aguilera等人（2022年）所指出的。此外，这些结果受到限制（Aguilera等人，2022年；Colgin，2015年；Schomburg等人，2014年）。首先，这些研究中大鼠执行的任务，Colgin等人（2009年）的开放场和Bieri等人（2014年）的线性轨迹，不需要异位记忆。其次，Colgin等人（2009年）使用了单点记录，这阻止了对CA1振荡拓扑的表征和它们来源的识别。
Schomburg等人（2014年）进行了一项更细致的研究，克服了之前研究的局限性。他们在大鼠执行具有不同记忆需求的导航任务时，从海马体的横向轴上记录了多达256个位置的数据。通过独立成分分析，他们发现CA1的振荡可以分为三个不同的gamma波段，而不是两个，每个波段支持海马体内不同的通信模式（图4.6）。在theta的峰值时，振荡主要由中等gamma频率（60-120Hz）主导，这些频率主要位于lacunosum-moleculare层，其来源是内嗅皮层第三层细胞的放电。在theta的下降阶段，慢gamma（30-80Hz）功率增加，因为CA3向radiatum层发送输入。最后，在theta的低谷时，CA1的输出放电与快gamma（> 100Hz）相位锁定，这一频率带主导了pyramidale层。有趣的是，CA1与内嗅皮层和CA3同步的相位对应于Hasselmo、Bodelón等人（2002年）所描述的编码和检索阶段。
最后，海马体的动态和记忆操作也受到神经调节的影响。在新环境中，CA1放电的优选相位转移到theta的峰值（Douchamps等人，2013年；Fernández-Ruiz、Oliva、Nagy等人，2017年），这与Hasselmo、Bodelón等人（2002年）的观点一致。研究表明，这一效应依赖于乙酰胆碱的释放作为新奇反应（Douchamps等人，2013年）。多巴胺也被认为在记忆编码中发挥调节作用（Lisman和Grace，2005年）。
4.4.3 尖波涟漪
海马体活动的另一个特征性振荡模式是尖波及其嵌套的涟漪（140-200Hz）。当动物处于活跃状态时，theta-gamma状态占主导地位，而涟漪则特征于不动、消费行为和慢波睡眠。它们在CA3区域产生，并传递到齿状回和CA1。
涟漪与重放现象相关，这一现象最初是在这些振荡之外独立观察到的。Pavlides和Winson（1989年）记录了CA1位置细胞，并发现那些在清醒行为中被访问的场所场在随后的睡眠阶段更加活跃。Skaggs和Bruce L McNaughton（1996年）后来展示了一个位置细胞在另一个之前放电，很可能在随后的睡眠中也会在另一个之前放电，反之亦然。关键的是，在清醒活动和前一个睡眠阶段的活动之间没有发现这样的时间偏差相关性。这些结果表明，在清醒行为中经历的空间轨迹在睡眠中被学习和重放，其时间组织被保留。这些重放事件在尖波涟漪中以比真实轨迹快10到20倍的速度发生（Nádasdy等人，1999年）。
首先，重放被认为支持记忆巩固。海马体的重放确实与皮层的重放同时发生（Peyrache等人，2009年；Ji和M. A. Wilson，2007年）。此外，抑制休息期间的涟漪事件会导致显著的记忆缺陷（Girardeau等人，2009年；Ego-Stengel和M. A. Wilson，2010年）。重放类事件也可以在清醒时发生（Kudrimoti等人，1999年），代表通往目标的路径或一旦达到目标后以相反顺序引导到该目标的轨迹（Foster和M. A. Wilson，2006年；Diba和Buzsáki，2007年；Pfeiffer和Foster，2013年；Ambrose等人，2016年）。此外，重放类事件可以代表从未经历过的轨迹（Gupta等人，2010年）。有趣的是，同样的现象也可以在寻求最大化预期未来回报的人工代理中出现（Cazé等人，2018年；Mattar和Daw，2018年），为它们的功能提供了一个超越简单记忆巩固的规范性解释。这些结果确实表明，海马体在规划中发挥作用，与fMRI研究一致，显示海马体不仅对记忆过去必要，而且对想象未来导向的新情况也是必要的（Hassabis, Kumaran, Vann等人，2007年；Hassabis, Kumaran和Maguire，2007年）。
Pezzulo等人（2017年）提出了一个框架，用以解释根据任务参与程度的不同，海马体顺序活动的多种模式。在他们的观点中，前瞻性theta序列支持在线预测处理和在线重放支持规划、前瞻和信息寻求。离线重放要么在必要时巩固最近经历的记忆，要么反映一个更加脱离的内部世界模型的抽样过程，用于自我一致性、模型修剪和稳态维持。
4.5 计算：标准框架、限制和替代方案
Marr（1971年）提出了第一个有影响力的海马体参与记忆功能的理论。本质上，Marr提出海马体暂时存储感觉信息，然后将其发送到更永久的新皮层存储。正如Willshaw等人（2015年）所指出的，Marr因此为互补学习系统理论（第3.3.1节）和巩固理论（第3.4.1节）奠定了基础。他受到Hebb（1949年）提出的学习规则的影响很大。这个规则在他的模型中作为存储联想记忆的核心机制。在使用Hebb规则存储记忆后，海马体的目标是完成新信息与记忆中存储的信息的结合。
这个模型在理解海马体功能方面占据主导地位，以至于它被称为标准模型（Nadel和Moscovitch，1997年；Nadel、Samsonovich等人，2000年）或标准框架（Cheng，2013年）。这里倾向于使用“框架”这个词，因为Marr的原始模型的许多细节已经被丢弃。Marr的工作不是被直接使用，而是影响了众多模型的发展（Bruce L McNaughton和Morris，1987年；Buzsáki，1989年；Treves和Rolls，1992年；Treves和Rolls，1994年；O’Reilly和McClelland，1994年；McClelland等人，1995年；Becker，2005年；Kassab和Alexandre，2018年），带来了额外的元素，其中一些将在以下部分中描述。
4.5.1 主要原则
海马体的标准框架源于互补学习系统理论（第3.3.1节）所假设的初始记忆存储需求。为了避免皮层中发生灾难性遗忘，新信息首先在海马体中快速存储，然后逐渐纳入皮层网络。为了使这种组织有用，海马体本身不能遭受灾难性干扰。这个问题的根源在于，一个使用密集分布式表征的神经网络在不忘记旧信息的情况下无法获取新信息，除非新信息与旧信息一起呈现。互补学习系统理论指出，皮层通过海马体发送旧信息来避免遗忘。海马体被认为采用了不同的解决方案，即避免使用密集分布式表征。如果记忆彼此正交表示和存储，重叠很少，它们的分离使它们对新记忆的存储具有抵抗力。
如第4.2.2节所述，齿状回的活动非常稀疏，即一次只有少数颗粒细胞处于活动状态。稀疏性自然限制了活动模式之间的重叠。当模式传输到CA3时，由于颗粒细胞的突触接触概率非常低，模式进一步被稀疏化。因此，在标准框架中，齿状回起到了模式分离器的作用，并在CA3中强制不同的表征在学习过程中。
在框架中，CA3是情景记忆存储的位置。更准确地说，记忆被认为存储在其复发性 collaterals 中。就像Hopfield网络（J. J. Hopfield 1982；第4.5.2节）一样，这些复发性连接可以被修改以编码记忆模式。存储后，可以通过当前CA3神经元的状态表示的部分线索来检索模式，一旦信息通过复发性突触传递以修改CA3的状态。因此，复发性collaterals被认为编码了自联想。在Marr（1971）和大多数未来模型中，实施联想记忆的复发性collaterals的突触修改遵循Hebbian规则，这被Hebb的标志性说法“一起放电的细胞，一起连接”所捕捉，或者更正式地表达为：“任何两个细胞或细胞系统如果反复同时活跃，它们就会倾向于变得‘关联’，以至于一个的活动促进另一个的活动”（Hebb 1949，第70页）。
标准框架并没有给CA1一个像齿状回和CA3那样普遍认同的角色（Cheng 2013）。
4.5.2 Hopfield网络
Hopfield网络是最知名的复发性自联想记忆网络（J. J. Hopfield 1982），其描述提供了对标准框架中CA3角色的更完整理解。该网络由具有阈值的单元组成，这些单元根据以下规则进行更新：
在这种Hopfield网络的表述中（即异步更新，和对称权重），它们被证明会收敛到其能量函数的局部最小值，即所谓的稳定状态（或吸引子）。到目前为止所描述的与早期的自旋玻璃模型（Lenz 1920；Ising 1925）非常相似。Hopfield网络的区别特征是使用Hebb（1949）的学习规则来实现联想记忆，即通过操纵网络的吸引子来学习项目之间的关系。在学习N个二进制模式时，使用Hebbian规则来修改Hopfield网络的突触权重：
4.5.3 CA3 as a Temporal Associator 作为时间联想者的CA3
标准框架通常回避序列学习的话题，因此错过了情景记忆的一个核心方面。实际上，有大量证据表明海马体参与了顺序信息的快速学习（Agster, Fortin, et al. 2002; Fortin et al. 2002; Kesner et al. 2002; A. K. Lee 和 M. A. Wilson 2002; Ergorul 和 Howard Eichenbaum 2004），并且可以使用分裂细胞（splitter cells）来区分重叠的序列（Duvelle et al. 2023）。序列记忆在重放和前瞻性theta序列中得到表达。这不能被存储静态信息模式的计算模型所解释。然而，一些与标准框架兼容的模型已经解决了海马体中序列学习的问题（例如 Levy 1982; Levy 1996; Wallenstein 和 Hasselmo 1997; Wallenstein, Hasselmo, 和 Howard Eichenbaum 1998）。这些模型提出，CA3不仅存储对应于当前环境表征的模式，而且还能够学习不连续事件之间的关联。Levy（1982）和Levy（1996）的模型利用齿状回和CA3之间的稀疏连接来防止某些CA3神经元被固定在外部输入上，而是通过复发性collaterals追踪过去的状态。因此，每个时间点的CA3的整体状态代表了由齿状回细胞提供的输入和通过复发性形成的上下文的混合。为了形成不随时间稳定并连续回忆多个项目的吸引子，CA3的复发性连接也被限制为稀疏。使用与标准模型相似的CA3可塑性机制，但具有稀疏连接，这些模型具备了序列学习能力。可塑性确实存储了代表不连续项目组合的模式，序列可以通过类似于标准模型迭代应用的过程被回忆起来。
标准框架虽然具有影响力，并解释了一些生物学现象，但它存在局限性。实际上，作为标准框架核心原则的Hebb学习规则在计算上不是最优的，正如Hopfield网络的容量小所暗示的那样。Ketz等人（2013）提出了一个模型，其中海马体不是使用Hebbian规则学习，而是由theta相位安排的错误驱动机制，类似于Hasselmo, Bodelón等人（2002）的模型。作者确实展示了，如果使用这种类型的学习规则而不是经典的Hebbian机制，海马体将是一个更强大的学习者。在模型的一个更近期版本中（Y. Zheng等人，2022年），内嗅皮层到CA3和CA3的复发性连接也通过错误驱动机制进行训练，进一步提高了记忆容量和学习速度。
Ketz等人（2013）的模型最初提出后，揭示了更深层次的含义。标准框架指出，记忆印迹（即记忆的基质）位于CA3的复发性连接中。这与记忆印迹分布的更普遍观点相悖。研究表明，海马体不仅记忆单个事件，还涉及发现它们之间的统计规律（Mehta等人，1997年；Strange, Duggins等人，2005年；Turk-Browne等人，2009年；Schapiro, Kustner等人，2012年；Schapiro, Turk-Browne, Norman等人，2016年）。
在Schapiro, Turk-Browne, Norman等人（2016年）的研究中，人类参与者被展示了根据社区结构图（图4.7a）转换的抽象视觉刺激。通过fMRI评估的海马体活动不仅反映了个体转换，还反映了更高阶的社区结构（图4.7c）。属于同一社区的刺激引起的活动比不同社区的刺激引起的活动更相似。Schapiro, Turk-Browne, M. M. Botvinick等人（2017年）研究了海马体如何同时参与由一系列转换组成的情节的快速获取和社区结构任务突出显示的较慢的统计形式的学习。他们发现Ketz等人（2013年）的模型实际上可以获取这两种信息，尽管最初设计是为了模拟情节记忆。像人类一样，模型捕捉到了更高阶的结构，以至于对同一社区的项目的反应比不同社区的反应模式更相似（图4.7d）。最重要的是，这种结构被CA1的反应比齿状回和CA3更好地捕捉。模型中的三突触和单突触路径的特性，如它们各自的快速和慢速学习率，限制了海马体区域获取不同性质的信息。这些结果表明，记忆分布在整个海马体中，但并不排除真正的情节记忆（即单个项目和转换）存储在CA3中的可能性。Schapiro, Turk-Browne, M. M. Botvinick等人（2017年）建议将单突触路径作为介于真正的情节学习者（三突触路径）和真正的统计学家（皮层）之间的中间学习系统，扩展互补学习系统。
Cheng (2013) 对标准框架中CA3复发性可塑性在快速学习中的必要性提出了质疑。一些研究在实验性抑制CA3的可塑性后确实发现了这种能力的缺陷（例如 Nakazawa et al. 2003; Cravens et al. 2006），但这些缺陷并不总是被观察到。在Nakazawa等人（2003）进行的Morris水迷宫实验中，每天更换新平台，并未在第5至12天发现缺陷。在Cravens等人（2006）的短期暴露情境恐惧条件研究中，突变小鼠在24小时后测试时表现与对照组一样。由于在所有条件下都不能评估缺陷，Cheng（2013）认为CA3的可塑性本身并不是必要的。另一项研究（Kishimoto et al. 2006）使用眼睑条件反射范式，表明海马体对于执行任务是必要的，但CA3的可塑性对于习得并非必要，只对消退（当强化被移除时条件反应逐渐减少）必要。一些研究实际上表明，在习得过程中CA3的反应并不一定显著变化（Dupret et al. 2010; Miyashita et al. 2009），与活动被重组的CA1区域相比。标准框架的另一个预测是，在CA3中存储新的非分离模式应该与旧记忆发生干扰。齿状回确实被发现可以分离模式，并且对于学习与之前存储的相似的新联想是必要的（P. E. Gilbert et al. 2001; McHugh et al. 2007）。然而，Cheng（2013）指出，在没有齿状回的情况下尝试学习新的相似联想并没有干扰这些研究中的先前记忆。研究还表明，标准框架忽视了齿状回的作用。如果齿状回是一个简单的模式分离器，将模式正交化以存储在CA3中，那么它对于记忆回忆就不应该必要。根据这一提议，实验性失活齿状回的研究通常发现记忆回忆没有受损（例如 Lassalle et al. 2000）。然而，在一些其他研究中失活齿状回确实损害了检索，表明记忆痕迹也位于该区域（Denny et al. 2014; S. Park et al. 2016; Bernier et al. 2017）。此外，齿状回在最近（而不是远期）记忆的回忆期间被重新激活（Tayler et al. 2013）。在最近的一项综述中，Hainmueller和Bartos（2020）提出记忆存储在早期阶段的EC-to-DG和DG-to-CA3突触中，颗粒细胞支持在经历后几分钟到几小时内检索CA3活动模式，而CA3的复发性collaterals可能仍然很弱。在涉及新生颗粒细胞和巩固CA3突触的连续尖波涟漪事件之后，可以在没有齿状回的情况下检索记忆。尽管标准框架因其简单性而具有吸引力，但越来越多的证据揭示了一个更加复杂的现实，这要求对海马体中的学习理论进行替代。
4.5.5 替代理论
苏格拉底模型
Lisman（1999）提出了一个专注于学习项目序列的海马体模型。这个模型被称为苏格拉底（即序列的压缩表示，自动更正，Theta-Gamma编码，上下文），用于解释精神分裂症的早期症状（Lisman和Otmakhova 2001）。在这个模型中，齿状回-CA3循环以theta嵌套的gamma节律存储由内嗅皮层发送的项目序列。这个模型是第4.4.2节中描述的theta-gamma编码的起源。这里描述的是模型的一个修订版本，其中齿状回和CA3的各自功能被交换了（Lisman, Talamini, 等人 2005）。这个修订模型在图4.8中说明。
这个模型背后的一个主要思想是，环境中发生的事件的时间间隔对于可塑性来说太大，无法学习它们的关联以及它们如何随时间展开。为了解决这个对情景记忆及其时间性质至关重要的问题，内嗅皮层被认为作为一个短期记忆缓冲区，以正确的节奏将信息发送到海马体以进行长期记忆存储（O. Jensen和Lisman 2005; Schon等人 2016）。事件流因此被分块，形成一个离散的序列码，其中每个项目在一个gamma周期中被表示（图4.4）。根据修订的苏格拉底模型，项目被顺序发送到海马体，CA3复发性collaterals学习自联想，就像在标准框架中一样。然而，CA3到齿状回的反向投射太慢，无法学习自联想，而是学习CA3中表示的一个模式和齿状回中表示的下一个模式之间的关联。这种劳动分工被认为支持稳健的序列学习。虽然CA3到齿状回的异联想过程使得序列中下一个项目的（损坏版本的）检索成为可能，但自联想CA3过程对于清理结果很重要，以便预测错误不会累积（图4.8，插图）。如上所述，最初的提议是CA3学习异联想，齿状回学习纠正它们，但后来建议交换它们的各自功能，以符合标准框架（Lisman, Talamini, 等人 2005）。
CRISP
CRISP是另一个专注于序列学习的海马体模型。它在Cheng（2013）中提出，是在回顾了许多反对标准框架的论点之后提出的。主要思想是CA3生成内在序列，这些序列不一定随着学习而演变，而事件序列通过快速修改EC到CA3和CA3到CA1的突触被映射到这些内在序列上。CA1扮演模式完成的角色，使得单突触路径足以学习静态模式，而单突触路径对于学习序列是必要的。在该模型中，假设齿状回可以重置内在的CA3序列，以便学习新序列并避免类似序列之间的干扰，但也可以启动回忆。
近年来，关于联想记忆的研究有所复兴。提出了一系列新型算法，被称为密集联想记忆或现代Hopfield网络，以克服原始Hopfield网络的限制，如Krotov（2023）所综述。它们并不严格构成海马体的模型，但它们的成功为开发更好的海马体模型提供了宝贵信息。
Krotov和J. J. Hopfield（2016）提出了对网络的能量函数和动态进行修改，导致模式维度与容量之间的超线性扩展关系。Demircigil等人（2017）扩展了Krotov和J. J. Hopfield（2016）的思想，并证明了通过使用指数激活函数，存储容量甚至可以是指数级的。Ramsauer等人（2020）提出了另一种基于先前工作（Sukhbaatar等人，2015）的现代Hopfield网络变体，该变体改而使用softmax函数。有趣的是，引入的更新规则等同于变换器（transformers）中的自注意力机制（Vaswani等人，2017）。
其中 q 是查询向量，X 是记忆矩阵，是一个控制记忆分离程度的倒数温度参数。Softmax是归一化指数函数：
通用Hopfield网络被引入作为联想记忆模型的通用框架（Millidge等人，2022）。这个想法是，经典和现代Hopfield网络可以被分解成一系列相似的操作：相似性、分离和投影（图4.9）。因此，从通用Hopfield网络中的检索被定义为：
其中q是查询向量，K是存储键矩阵，sim 是相似性函数，\( sep \) 是分离函数，V是存储值矩阵。键和值的概念用于解释异联想，其中一个键元素与一个不同的值元素相关联，但在Hopfield网络的大多数应用中，值用于重建相同的键元素（即自联想，。在原始Hopfield网络的情况下，相似性函数是点积，分离函数是简单的恒等函数。缺乏更复杂的分离函数，如Ramsauer等人（2020）更现代模型中的softmax，使得经典Hopfield网络无法正确分离记忆。
现代Hopfield网络与经典网络相比的主要优势在于，它们不仅限于二进制数据，并且可以轻松集成到深度学习架构中。突触连接随后使用反向传播算法进行训练（Linnainmaa 1976; Rumelhart等人，1986）。目前尚不清楚在更严格的训练制度下，现代Hopfield网络能在多大程度上保持其存储容量而不受损。经典Hopfield网络的一个优点是其生物学合理性：单元之间的相互作用和信息的学习都足够简单，可以由真实的神经元实现。此外，信息可以顺序呈现，并在单次呈现后被记忆。另一方面，Krotov和J. Hopfield（2020）指出，他们的现代变体涉及许多单元的相互作用，这模糊了它们之间的连接与通常只涉及两个神经元的生物突触之间的平行。他们提议用特征神经元和记忆神经元的网络替换多单元相互作用，这可以作为一个传统的人工神经网络实现，后来由Snow和Orchard（2022）演示。然而，请注意，存储容量变成了记忆神经元数量的线性（Krotov和J. Hopfield 2020）。
反向传播的使用进一步削弱了现代Hopfield网络的合理性及其快速记忆新信息的能力。反向传播通常在训练制度下使用，其中信息要么多次顺序呈现，要么作为单一批次呈现（如Snow和Orchard 2022所做的）。这两种情况都不符合情景记忆的要求，情景记忆应该能够快速获取顺序呈现的新信息。在一些工作中，要记忆的模式是手动添加到权重矩阵中的（例如Millidge等人，2022；Spens和Burgess，2023）。最近，Tyulmankov等人（2021）提出了一种以更合理的方式存储信息的学习规则。为了编码记忆，选择分离层中的一个神经元（即Krotov和J. Hopfield 2020的记忆神经元）进行激活，可以是随机的，也可以是通过顺序过程。然后，使用新Hebbian三因素学习规则（Gerstner等人，2018）将输入模式与激活的神经元关联起来，使得记忆存储在对应于选定神经元的键矩阵行中。然后使用Hebbian规则将模式存储在对应于神经元的值矩阵列中。当使用这种生物驱动的方法与顺序选择过程，或者手动将模式添加到矩阵中时，存储容量等于分离层神经元的数量（Tyulmankov等人，2021）。当随机选择一个分离神经元时，容量是亚线性的，与传统Hopfield网络的容量相当。Tyulmankov等人（2021）还证明了现代Hopfield网络可以通过发送当前模式进行键存储和下一个模式进行值存储来学习序列。然后可以通过递归地使用输出作为下一个输入来使用网络回忆序列。
就像非递归变换器（Vaswani等人，2017）导致开发出与生物大脑中的语言处理相媲美的高性能语言模型一样（例如Caucheteux和King 2022），现代前馈Hopfield网络的变体肯定会影响对海马体记忆存储的理解。实际上，已经证明流行的Whittington，T. H. Muller等人（2020）的模型在没有递归的情况下表现良好，并且加入变换器的元素可以提高其性能（Whittington，Warren等人，2021）。此外，已经提出海马体在CA3和CA1神经元中实现了现代联想记忆，尽管确切的解剖学映射尚不清楚（Krotov和J. Hopfield 2020；Chandra等人，2023；Spens和Burgess 2023）。由于已经建立了它们的序列学习能力（Chaudhry等人，2023；Tyulmankov等人，2021；Millidge等人，2022），现代Hopfield网络可以用来模拟海马体中的序列处理。
Successor Representation后继表征
后继表征（Successor Representation）是由Dayan（1993）在强化学习的背景下引入的，强化学习是一种人工智能范式，专注于开发能够学习选择行动以最大化奖励的智能体。后来，它影响了海马体学习的理论。使用Stachenfeld等人（2017）的公式，可以定义状态 s 的价值 V 为在将来状态中获得的奖励 R 的预期总和：
其中γ是一个指数衰减的折扣因子，取值范围在 [0, 1] 之间。Dayan（1993）将这个价值函数分解为奖励函数和预测后继状态的矩阵 M 的内积：
可以利用一个由误差驱动的时间差分算法来学习这个预测矩阵，该算法逐步更新估计的继任者表征，以最小化预期和观察到的状态占据之间的差异（Dayan 1993; White 1996）。后来有观点认为，这个算法可以用来编码情景记忆，并再现众所周知的心理效应（Gershman, C. D. Moore, 等人 2012）。作者将他们的模型与时间上下文模型联系起来，时间上下文模型的思想是学习个体项目与跟踪最近上下文的向量之间的关联（Howard 和 Kahana 2002）。最近，Stachenfeld 等人（2017）展示了当状态编码空间，并且继任者表征矩阵的一列被解释为一个神经元时，这个神经元的激活类似于位置场，从而产生了海马体神经元编码未来状态预测的理论。因此，认知地图将是一个预测地图。由于矩阵受到智能体行为和状态之间转换的影响，这些位置场可以展现出Mehta等人（1997）描述的经验依赖的不对称后向扩展，以及Alvernh等人（2011）的屏障效应。继任者表征也可以解释Schapiro, Turk-Browne, Norman等人（2016）任务中海马体的活动，如图b所示。最后，Stachenfeld等人（2017）发现矩阵的特征向量类似于不同情况下网格细胞的活动。
Momennejad 和 Howard（2018）使用多个γ值进行多尺度表征，灵感来自于沿内嗅皮层和海马体纵向轴的表征尺度梯度。他们展示了这种表征可以用于重建经历状态的序列，并且预测状态之间的距离。虽然这是一个有前景的规范理论，但尚不清楚海马体如何学习这样的预测地图，但最近的建模工作表明，theta序列可以支持继任者表征的学习（George, Cothi, Stachenfeld, 等人 2023）。
4.6 讨论
在本章中，内侧颞叶的解剖结构、表征和动态已经根据情景记忆操作进行了介绍。第8章中开发的计算模型将被设计为遵循相同的架构。这个新模型构成了一个可行的替代标准框架用于序列学习，并且将展示出类似海马体的表征是如何出现的。
本章呈现了海马体的复杂形象，其中包括交织的处理模式和功能。尽管它可能部分独立运作，下一章将描述海马体也受到前额叶皮层等执行区域的控制。
完整内容请阅读原文
原文链接：https://theses.hal.science/tel-04573235v2/document
