学界前沿 | 如何解决大模型长距离依赖问题？HiPPO 技术深度解析

• 记忆范围有限，有 vanishing gradient 等问题

• 需要先验，并一定程度上受限于此

• 缺乏处理长距离依赖关系的理论保证

而这篇论文经数学推导，证明了 HiPPO 理论上可较好地处理长距离依赖关系，并提供了初始化参数，对后续研究产生了深远影响。

我们希望通过某种方式将历史信息存储在一个向量中，借此处理长距离依赖关系。为便于分析，将所有历史输入看作一个关于时间的连续函数   ，最后再对其进行离散化处理。一个自然的思路是用一个性质更好的函数   对其进行近似，随输入不断更新，达到预测未来的效果。而为将函数转换更容易处理的形式，希望将    用一个向量    表示，这就引出了取一组空间上的基，用系数表示函数的想法。我们还希望    满足某种递推关系，从而可以只考虑当前输入和向量的历史累计值。

以下将对这一过程进行更详细的说明。

给定输入函数   ，对给定的   ，记此时的历史为   ，它是否能用固定长度的向量    近似地表示，并将其写成一个常微分方程的形式（离散条件下是递推式）？

评判近似质量需要定义一个在函数空间上的距离。我们选择一个概率测度   代表每个时间点在近似时所占的权重（也即每个时间点的影响力有多大），而任何测度都诱导一个内积为   ，平方可积的函数空间（即希尔伯特空间，记为   ），对应范数为   

我们最终想要一个次数有限的结果，因此我们取一个    的   维子空间   ，   代表了近似程度。在以下的论证中，均选择多项式作为自然基，  为次数低于    的多项式空间。

实际上并不要求如此选取，此处是出于多项式受到广泛研究，有更多现成结论的缘故。

由于对于时刻   ，我们仅关心    的影响，令选择的测度随时间变化，记作   ，在    上度量。此时，近似程度便可以用距离    来表示。我们希望找到    使其取得最小值。

近似函数可用其在    的一组基下的展开中的    个系数来表示，关键在于如何选取适当的基。一个自然的选择是正交基   ，它可以扩展为   的一组正交基。

一个希尔伯特空间的正交基    也即满足

的一组基（可用 Gram-Schmidt 正交化方法将非正交基转换为正交基得到）。特别地，对于   ，一般    为一个    次多项式。

   可以表示为在    的正交基下的分解，因此   为    在   上的限制，即    在空间    的正交基上分解的系数表达式为   

HiPPO 定义了两个映射：

•   ：给定连续输入函数    与概率测度   ，将    映射到上文中的近似函数   

•   ：将    映射到系数向量   

这两个映射的合成称为   ，也即   

我们的最终目标是将系数向量表示为递推形式，便于训练与推理。为了达到这一离散的目标，需要在连续情形下先写成 ODE 的形式，再对其离散化。

HiPPO 的另一个关键思想是将系数的计算式对   求导。由于正交多项式由 Gram-Schmidt 计算得来，这往往会导致自相似关系，从而写成一个ODE的形式。具体地，HiPPO 证明了对于文中提及的几个概率测度   ，有特殊的   满足： 

在实际操作中，输入输出都相对时间离散，因此需要对上式进行离散化操作，整体分为四步：

1. 接收输入序列   

2. 对于时间离散步长   ，隐性定义连续函数   ，满足   

3. 写出函数    的 ODE 表达式

4. 重新离散为输出序列   

通常，这一过程对于时间离散步长    的选择是敏感的。

注意此处的    为向量，与上文中有所不同。

离散化算法的选取有许多种，考虑到后续工作中使用了双线性变换法，此处介绍更为普适的广义双线性变换法（Generalized Bilinear Transformation, GBT）。

记 ODE 为   ，可将其改写为

GBT 通过取两端点的加权平均将右式近似为      ，其中   。

当    时将其代入   ，整理可得：

因此

注意到   ，上式也即：

为一个关于    的递推式。

此处假定    与    均为时间不变量，若随时间改变，也可用相同思路计算。

在 GBT 中，  取特殊值时有不同别名。当    时称前向欧拉法，   时称反向欧拉法，   时称双线性变换法。

在选择多项式空间的基础上，根据不同的概率测度，该论文着重分析了三个实例：translated Legendre (LegT)，translated Laguerre (LagT)，scaled Legendre (LegS)。

下图为三种概率测度的图示，蓝色与紫色部分分别代表    与    时刻的   

实例图示

由于 LegS 的表现最好，下文将简要带过前两者，并主要关注于 LegS。

LegS 选取的概率测度为   ，为所有历史分配相同的权重，随时间的推移缩放窗口。这是最直观的记忆方式。以下，将从这一多项式空间的正交基出发，计算    的导数，并得出 ODE 和递推式的表达。

首先，我们需要知道    的正交基。考虑到测度的形式，    的正交基与 Legendre 多项式的数学表达式非常类似。

Legendre 多项式    是在内积取    时，从自然基    出发进行 Gram-Schmidt 计算得到的结果，使得：

  

且有   

   也可用求导表示：

  

Legendre 多项式有以下性质：

在当前的测度之下，考虑内积表达式   ，由于   ，我们希望

 

与 Legendre 多项式计算式中的积分表达与上下限进行比较可知，对 Legendre 多项式进行    的变量替换，得到

 

此时相差常数倍，因此    的正交基即为将 Legendre 多项式进行缩放与平移的结果，可写作   

记    ，对    求偏导，结合 Legendre 多项式的性质可知：

回忆到   ，再让    对    求偏导，整理可得：

观察等式，发现    每个维度的导数都可以表示成    与    的线性组合，这正是我们想要的形式。因此，可以写作矩阵形式    ，其中    为    中    的系数。

而对这一结果运用双线性变换法即可得到离散表达，完整结论见下文。需要注意的是， LegS 的离散形式独立于时间离散步长   

HiPPO-LegS 中在连续与离散情况下的变化为：  

其中   ，  

LegT 选取的概率测度为   ，为一长度固定的窗口。LagT 选取的测度为   ，从当前时刻向前指数递减。

对于这两种测度，均有 ODE 为    的形式，其中    与    如下（证明类似 LegS 的情形）：

LegT：  ，   

LagT：  ，  

在论文中，指出了三个 HiPPO-LegS 的优势，并分析了近似造成的误差幅度，以下对此进行介绍。

LegS 具有时间等变性，也就是说，对任意的   ，如果   ，则必有   。这意味着它可以从某个时间尺度自然地迁移到其他尺度。

回忆 GBT 的推导过程，在更新    时实质上在计算形如    和    的矩阵与向量的乘积。由于    的特殊结构，这一过程可以被大幅压缩，加快计算速度。这一结论在 Efficiently Modeling Long Sequences with Structured State Spaces（https://arxiv.org/abs/2111.00396） 中有详细说明。

RNN 的遗忘速度为指数级，而 LegS 为多项式级，具体地有   。

这是由于    的递推形式，可以将其展开至由    表示，求偏导知    由于    为可交换的可对角化矩阵（考虑到    下三角），可写作   ，其中    为对角矩阵，它的最大对角元为    取对数后分析可知   ，因而原式成立。

这说明了 LegS 可以处理更长距离的内容。

在 HiPPO 中有一步近似操作，其导致的误差与    的光滑度密切相关。

• 当    满足 L-Lipschitz 条件时（即对于   ，有    ），则   

• 当    有    阶有界导数时，则   

文章根据在线函数近似的思路提出了 HiPPO 架构，解释了可以通过递推式反映历史的根本原因，主要理论核心是对若干概率测度的情形给出了 HiPPO 初始化实例，其中论证了取测度为    的 HiPPO-LegS 的优势。同时，ODE 的形式也启发后续对 SSM 的使用。

参考：https://zhuanlan.zhihu.com/p/613713261